Сто двадцать выдуманных ссылок против восьми — это не просто статистика, а приговор концепции «универсального ИИ-разума» в серьезном бизнесе. Пока фронтир-модели соревнуются в написании стихов и пересказе видео, на поле сухих строительных нормативов они продолжают вести себя как талантливые, но патологически лживые студенты. Они пишут красиво и уверенно, ссылаясь на пункты СНиПов, которых никогда не существовало в природе.
Проблема в том, что в стройэкспертизе или юриспруденции ошибка в номере параграфа — это не «неточность», а юридически ничтожный результат. Как показал эксперимент команды SP-AI, даже топовые нейросети проигрывают специализированному агентному контуру в доказательности. Красивый слог генералистов пасует перед необходимостью отвечать за каждую букву.
Технологический демонтаж RAG
Классический подход RAG образца прошлого года, когда документы просто нарезали на куски и складывали в векторную базу, окончательно расписался в бессилии перед сложной нормативкой. Векторный поиск «по смыслу» отлично подходит для поиска рецепта шарлотки, но бесполезен, когда нужно вытащить связь между старым постановлением и актуальным сводом правил. Минимальная единица смысла в ГОСТе — это не абзац текста, а сложная сеть взаимосвязей, таблиц и исключений. Если вы не превратили корпус документов в граф, вы не управляете достоверностью, а просто надеетесь на удачу.
Команда SP-AI проверила это на выборке из 100 реальных запросов, сравнив «голую» DeepSeek V4-Pro и ту же модель в агентной обвязке. Результат отрезвляет: без контура модель выдала 120 выдуманных ссылок, а с ним — всего 8. Механика этой метаморфозы проста: вместо того чтобы генерировать ответ из «памяти» весов, система запускает цепочку «планировщик — поисковый агент — куратор контекста».
«Там, где ответ обязан быть проверяемым по нормативному корпусу, агентный контур резко снижает число неподтвержденных ссылок — на одном и том же генераторе».
Планировщик на базе легкой DeepSeek V4-Flash сначала определяет тактику: поиск по номеру пункта, гибридный поиск по терминам или анализ таблиц. Только после того, как поисковый агент соберет верифицированные данные, финальный генератор приступает к тексту. Это превращает ИИ из фантазера в строгого референта, который не имеет права голоса без ссылки на первоисточник.
Экономика достоверности против хайпа бенчмарков
Когда эксперты пророчат смерть маленьким командам из-за доминирования бигтехов, они совершают фундаментальную ошибку. Лидерство «лучшего генералиста в мире» вторично перед его провалом в доказательности на узких доменах. В консервативных отраслях — финтехе или стройке — избыточное красноречие скорее вредит. Если система не выбивает хотя бы 4,25 балла из 5 по шкале достоверности ссылок, она бесполезна для принятия бизнес-решений.
Более того, слепое доверие средним цифрам бенчмарков едва не привело авторов исследования к ложным выводам. Только детальный разбор 3000 оценок от пяти независимых LLM-судей (от Claude 3.5 Sonnet до Gemini 1.5 Pro) выявил, что «наивные средние» скрывают критические провалы в логике. Для реального сектора нужны не «модели-чемпионы», а кастомные системы оценки, заточенные под конкретный домен знаний.
Эпоха веры в универсальный ИИ заканчивается там, где начинается юридическая ответственность за цифру. Будущее корпоративного интеллекта — не в ожидании новой версии GPT, а в архитектурах контроля и графовых структурах данных, которые служат жестким предохранителем от фантазий. Пора перестать уповать на мощь моделей и начать инвестировать в инфраструктуру верификации внутри собственных данных.