Переход от вероятностного угадывания токенов к надежному автономному мышлению уперся в стену. Большие языковые модели (LLM) остаются эффективными лишь как генераторы идей, но не как финальные арбитры. Сергей Родионов из SingularityNET указывает на очевидный разрыв: если в математике паттерны «генерация — проверка» работают безотказно, то в интерактивных средах цена ошибки часто фатальна. Новая архитектура для ARC-AGI-3 предлагает радикальный маневр — заменить мутные «нейронные симуляции» на исполняемые модели мира. По сути, это живые кодовые базы на Python, в которых агент фиксирует свои гипотезы об окружающей среде.
Рефакторинг как суррогат здравого смысла
В основе подхода, описанного в работе Executable World Models for ARC-AGI-3, лежит отказ от скрытых нейронных состояний в пользу прозрачности. Агент хранит модель мира в виде функций Python, которые можно запускать, тестировать и — что критически важно — редактировать. Интеллект системы здесь определяется принципом минимальной длины описания (MDL). Когда данных мало, под них можно подогнать сотни кривых моделей, но выживает та, что упаковывает закономерности максимально компактно. Система Родионова заставляет агента рефакторить свой код, заменяя случайные частные случаи на обобщенную логику.
Полезная модель — это не та, что просто соответствует прошлым наблюдениям, а та, что сжимает их достаточно плотно для планирования будущего.
Этот процесс превращает рефакторинг в практический инструмент борьбы с переобучением. Используя Python как внутренний язык моделирования, агент проигрывает сценарии, отбрасывает тупиковые ветки и пересматривает планы еще до того, как совершит необратимое действие в реальности.
Верификация действием и костыли скриптовых контроллеров
Методологическая чистота эксперимента в ARC-AGI-3 заслуживает отдельного упоминания. Система использует скриптовый контроллер, но в ней полностью отсутствуют жестко заданные эвристики или подсказки, специфичные для конкретных игровых механик. Сергей Родионов подчеркивает: в промптах и рабочем пространстве нет скрытых решений. Архитектура замыкает жесткий цикл: гипотеза — программная симуляция — проверка на практике.
Языковая модель здесь выступает лишь механизмом аппроксимированного поиска, а за надежность отвечает внешний процесс верификации.
Тестирование на 25 публичных играх ARC-AGI-3 показало любопытные результаты. Связка с моделями высокого уровня рассуждения (high reasoning effort) позволила полностью решить 15 игр, достигнув средней эффективности выравнивания гипотез (RHAE) в 58,12%. Для сравнения, менее мощные итерации тех же моделей справились лишь с 8 играми. Каждый запуск начинался «с чистого листа», без доступа к истории прошлых попыток, что доказывает: именно способность синтезировать и исполнять программы, а не накопленная статистика, становится драйвером успеха в незнакомых средах.
Масштабируемость и проблема утечки данных
Главный сдвиг здесь — переход к планированию, где модель мира доступна для чтения и отладки человеком. Однако к масштабируемости остаются вопросы. Родионову и его команде пришлось потратить немало усилий на аудит окружения, чтобы закрыть каналы утечки информации о бенчмарках. Пока система опирается на структурированные интерфейсы скриптового контроллера, остается неясным, как она поведет себя в «диких» условиях, где интерфейсы взаимодействия с миром заранее не определены.
Для бизнеса и техлидов это важный сигнал: надежность ИИ перестает быть вопросом количества параметров в нейросети. Теперь это вопрос устойчивости программной среды, которую нейросеть строит сама для себя. Хотя 58% RHAE выглядят многообещающе, настоящим испытанием станет проверка на закрытых наборах данных и способность агентов работать без «страховочной сетки» в виде предопределенных контроллеров в открытых индустриальных задачах.