Пока рынок грезит созданием собственных проприетарных моделей, инженеры BMW Group совместно с учеными из TUM и LMU вылили ушат ледяной воды на адептов дообучения (Fine-Tuning). В их свежем исследовании, проведенном под руководством Якоба Штурма, доказывается неприятный для многих факт: для работы с закрытыми базами данных — от технических мануалов до отчетов по качеству — классический RAG (Retrieval-Augmented Generation) на голову разбивает попытки «впихнуть» знания напрямую в веса моделей.
Главный аргумент исследователей лежит не в области теоретической точности, а в беспощадной экономике. Команда BMW расширила фреймворк Cost-of-Pass, добавив в него стоимость человеческого времени на проверку галлюцинаций. Выяснилось, что дообученные модели, несмотря на кажущуюся «интеграцию» знаний, регулярно выдают мусор, требующий ручной верификации. По оценке Штурма, плохо спланированное внедрение ИИ без RAG-обвязки в итоге обходится компании дороже, чем если бы задачу просто выполнял живой сотрудник. Вера в то, что дообучение дешевле в эксплуатации — это опасная иллюзия, если учитывать расходы на исправление ошибок.
Методология BMW показала: использование качественной базовой модели в связке с RAG — самый бюджетный путь, так как он радикально снижает затраты на «человеческий аудит». Более того, связка из небольших open-source решений с грамотным поисковым конвейером вполне способна конкурировать с закрытыми гигантами вроде GPT-4. Это дает компаниям ту самую суверенность инфраструктуры, о которой все мечтают, но без необходимости сжигать бюджеты на бесконечные циклы переобучения под каждое обновление документации.
Прагматичный вывод для тех, кто распределяет бюджеты: дообучение остается нишевым инструментом для правки специфического синтаксиса или случаев экстремального масштаба, где задержка вывода критичнее точности. В промышленном секторе попытка заменить динамический поиск данных обновлением параметров — это прямой путь к созданию убыточного проекта. Если ваша стратегия ставит на обучение, а не на извлечение, вы платите за систему, которая требует больше надзора, а не меньше. На наш взгляд, исследование BMW — это долгожданный триумф здравого смысла над желанием поиграть в «собственный мозг компании» за чужой счет.