STARS: как исправить деградацию логики в рекуррентных ИИ-моделях
Рекуррентные языковые модели (LoopLMs) на бумаге выглядят изящно: вместо того чтобы раздувать количество параметров, мы прогоняем данные через одни и те же слои, имитируя человеческое «обдумывание». Но на практике исследователи из Нанкинского университета, Сяо-Вэнь Ян и Ю-Фен Ли, столкнулись с жестким потолком. Выяснилось, что при увеличении глубины итераций во время инференса модели просто ломаются. Вместо того чтобы дорабатывать решение до идеала, логика коллапсирует после достижения определенного порога, превращая траекторию скрытых состояний в хаос.
Команда из Нанкина проанализировала LoopLMs как динамические системы и обнаружила фатальный тупик: существующие архитектуры не умеют балансировать между эффективностью и стабильностью. Чем глубже «раздумья», тем выше риск, что модель уйдет в разнос. Это делает масштабирование вычислений на этапе вывода бесполезным занятием — вы тратите ресурсы, а на выходе получаете деградировавший результат.
Стабилизация латентных рассуждений открывает дорогу к автономным системам, которые решают задачи «в уме» за счет более глубоких итераций, а не за счет экспоненциального роста затрат на обучение.
Решением стал фреймворк STARS (STAbility-driven Recurrent Scaling). Его авторы предложили сменить парадигму: теперь мышление ИИ трактуется как процесс планомерного снижения неопределенности и поиска устойчивых точек (fixed points). Чтобы «мысли» не разлетались, в STARS внедрили регуляризацию спектрального радиуса якобиана с рандомизированным сэмплированием циклов.
Проще говоря, систему принудительно заставляют стремиться к стабильности, гарантируя, что процесс рассуждения сойдется к конкретному ответу, а не вылетит в бесконечную ошибку. На тестах с арифметикой и сложной математикой это не только убрало деградацию при глубокой рекурсии, но и заметно подняло пиковую точность.
Главные выводы для индустрии:
Погоня за качеством через бесконечное расширение контекста или генерацию лишних токенов — путь тупиковый и дорогой. Эффективность ИИ теперь зависит от способности модели удерживать стабильность при длительных вычислениях. STARS позволяет обменивать дополнительное время инференса на точность без риска потери логики.
Если STARS докажет свою жизнеспособность в промышленной эксплуатации, мы получим ИИ, способный к глубоким автономным рассуждениям без необходимости кратного увеличения аппаратных мощностей.