Финансовые институты регулярно дообучают большие языковые модели на корпоративной отчетности и финансовых результатах, полагая, что отраслевая специализация повысит фактическую точность наряду с беглостью речи. Инженерные команды загружают в пайплайны отраслевые корпуса текстов и математический контроль, рассчитывая, что целевое обучение искоренит выдумки. На практике эффект оказывается прямо противоположным.
Таксономия фабрикаций
Чтобы измерить, как специализация снижает надежность количественных данных, исследователи Сяодун Ли (корпорация COFCO и Гуанчжоуский колледж прикладных наук и технологий) и Пэйвэй Лю (Гуанчжоуский колледж) оценили числовые галлюцинации на трех уровнях моделей. Они сопоставили базовую модель с инструктивным дообучением, вариант, адаптированный под язык предметной области (FT-A), и отраслевую модель с улучшенными математическими навыками (FT-A+B+C).
Для фиксации структурных сбоев авторы выделили трехуровневую таксономию обнаружения: явные галлюцинации (выдуманные суммы в валюте), скрыто-эксплицитные (правдоподобные цифры, оформленные по стандартам бухучета) и скрыто-имплицитные галлюцинации (необоснованные количественные утверждения, замаскированные под рыночную аналитику).
Парадокс специализации
Эмпирические результаты показывают обратную зависимость между дообучением на предметной области и фактической достоверностью. В то время как базовая модель показала скромный уровень явных числовых галлюцинаций в 5,4%, тонкая настройка вызвала взрывной рост ошибок. Модель FT-A достигла 82,5% явных галлюцинаций, а специализированная модель FT-A+B+C с математическим уклоном продемонстрировала ошеломляющие 98%.
«Вопреки интуиции, математический контроль усиливает, а не снижает уровень галлюцинаций на всех уровнях».
Вместо того чтобы совершенствовать вычисления с учетом контекста, дообучение учит модели генерировать внешне убедительные финансовые показатели буквально из воздуха. Модель оптимизируется под стилистическое правдоподобие, а не под опору на факты.
Деградация сдержанности
Падение надежности связано со структурным запоминанием. Ли и Лю определили шаблонную инъекцию — подстановку заученных канонических значений при появлении стандартного формата отчета — как главного виновника. Сталкиваясь со знакомыми формами бухгалтерских балансов, специализированные модели просто заполняют ячейки сгенерированными цифрами.
Что критично, авторы определяют числовую дисциплину как готовность модели промолчать, если в исходных документах отсутствуют точные данные. Исследование подтверждает: всплеск галлюцинаций происходит не из-за сбоев в арифметике, а из-за разрушения числовой сдержанности. Отраслевая адаптация наказывает модель за молчание, заставляя ее имитировать корпоративный жаргон в ущерб истине.
Для корпоративных архитекторов и технических директоров финтех-компаний выводы однозначны: дообучение на предметной области не заменит детерминированные слои валидации. Использование весов специализированных моделей для самопроверки расчетов в продакшене несет системный риск, если они не подкреплены внешними фильтрами валидации фактов и программными механизмами отказа от ответа.