Индустрия успешно скормила рынку миф о том, что качественный ИИ-поиск собирается как конструктор Lego: берем векторную базу, прикручиваем реранкер, полируем гибридным поиском с алгоритмом BM25 — и продакшн готов. На архитектурных схемах это выглядит солидно, в коде занимает двадцать строк, но в реальности этот «правильный» стек часто работает против системы. Как показывает опыт разработчиков, проанализировавших около 3,9 млн сообщений из чатов, внедрение модных слоев без оглядки на специфику данных — это кратчайший путь к деградации точности. В изученном кейсе BM25 и реранкер в разных конфигурациях лишь роняли метрики, подтверждая: усложнение ради усложнения не работает.
Механика процесса обычно выглядит так: команда тратит день на написание кода и недели на попытки выяснить, почему система выдает мусор. Проблема в том, что инструменты внедряются «карго-культом» — потому что так принято в тусовке, а не на основе холодного расчета и замеров. Если медиана точных ответов в крупных сообществах едва дотягивает до 30%, попытка автоматизировать саппорт через классический RAG неизбежно упирается в качество данных, а не в отсутствие «умного» поиска. Даже идеально вышколенная модель может выдать верный по смыслу ответ, который система забракует просто из-за кривой разметки эталона.
Переход от разработки к аналитике — это не смена декораций, а вопрос выживания вашего бюджета. Настоящая работа начинается там, где заканчивается написание скриптов: в создании eval-харнесса и тотальной чистке корпуса данных. Если ваша метрика, например hit@3, застряла на 38%, это может означать как слабый поиск, так и профнепригодный эталон, который занижает сам себя. Инвестировать в инфраструктуру до того, как выстроена система честных замеров на реальных данных — значит платить за дорогой и непредсказуемый «черный ящик».
Вместо закупки очередных коробочных надстроек и лицензий, поручите команде провести аудит эталонного датасета и вручную разобрать хотя бы сотню «промахов». С высокой вероятностью вы обнаружите, что лечить нужно данные, а не отсутствие реранкера в стеке.