Стремительный взлет архитектур с длинными цепочками рассуждений (Chain-of-Thought) вновь подогрел интерес индустрии к тому, как искусственный интеллект решает сложные задачи. Хотя такие модели, как DeepSeek-R1, демонстрируют неоспоримый прирост производительности на сложных бенчмарках, отрасль угодила в концептуальную ловушку, начав воспринимать промежуточную генерацию токенов (intermediate token generation, ITG) как прямой аналог человеческого мышления. Подобный подход предполагает, что авторегрессионные модели осознанно планируют, взвешивают аргументы и размышляют перед выдачей ответа. Это подталкивает инженеров и технических директоров ошибочно считать внутренний поток токенов прозрачным окном в процесс автоматизированного рассуждения.
Заблуждение об интерпретируемом мышлении
Восприятие промежуточной генерации как точного отражения человеческой логики создает серьезные архитектурные и эксплуатационные риски. В программной статье, представленной на 43-й Международной конференции по машинному обучению (ICML), Суббарао Камбхампати и исследовательская группа из Школы вычислительной техники и ИИ Университета штата Аризона опровергают распространенное предположение о том, что токены, генерируемые до финального ответа, представляют собой подлинный логический вывод.
«Эти промежуточные токены называют „цепочками рассуждений“ или даже „следами мышления“, тем самым неявно антропоморфизируя их и создавая иллюзию, будто они отражают шаги, которые предпринимает человек при решении сложной проблемы».
Как подчеркивает команда Камбхампати, маркетинговые клише вроде следов мышления и чрезмерных размышлений привносят в ML-инженерию обманчивые антропоморфные метафоры. Подобная риторика формирует необоснованное доверие к непроверенным распределениям токенов, сбивает фокус фундаментальных исследований и затушевывает фундаментальную природу трансформеров: модели выполняют стохастические манипуляции с контекстом, а не строгий формально-логический вывод.
Реалии пост-обучения и пределы верификации
Механизмы, лежащие в основе этих моделей, опираются на целевые стимулы на этапе пост-обучения, а не на сознательное осмысление. Пайплайн включает стандартное авторегрессионное предобучение, дообучение по инструкциям и согласование предпочтений перед применением обучения с подкреплением на синтетических датасетах с автоматическими верификаторами. Система генерирует последовательность промежуточных токенов, за которой следует выделенный финальный ответ, оцениваемый валидатором. Обновления параметров поощряют цепочки, приводящие к верифицированным верным ответам, и штрафуют ошибки, концентрируя оптимизационное давление исключительно на корректности результата. Как следствие, промежуточные токены не получают никакой прямой верификации или гарантий логической точности.
Научная значимость и ограничения
Промежуточная генерация токенов служит эффективным вычислительным черновиком, расширяющим бюджет токенов, а не прозрачным путем логического вывода. Слепое принятие промежуточных токенов в качестве журнала аудита несет критические риски при развертывании автономных агентов в ключевых бизнес-процессах, поскольку правильные ответы нередко маскируют галлюцинации и ошибочную логику в теле цепочки. Командам, разрабатывающим критическую ИИ-инфраструктуру, нельзя трактовать поток токенов как объяснимость (explainability). Для корпоративного внедрения требуются независимые слои формальной валидации, отделенные от стохастического генеративного вывода.