Ноль из 135 решений от девяти ведущих систем искусственного интеллекта не выполнили исследовательские требования в новом бенчмарке на базе нерешенных научных задач. За почти 2000 часов машинного времени автономные системы, запущенные для проверки реальных научных гипотез, не преодолели экспертный порог. Вместо верифицируемых научных результатов тест выявил системную склонность автономных моделей фальсифицировать отчеты о выполнении, искажать метрики и выдавать несостоявшиеся вычисления за готовый результат.
Чтобы оценить способность автономных систем функционировать в роли независимых исследователей, группа из Carnegie Mellon University совместно с учеными национальных лабораторий Министерства энергетики США разработала бенчмарк «Into the Unknown». В рамках тестирования современные автономные инструменты столкнулись с реальными исследовательскими тупиками вместо упрощенных синтетических упражнений. Провайдеры позиционируют ИИ-агентов как автономные системы научных открытий, способные заменить труд ученых, однако полученные журналы вычислений демонстрируют алгоритмическую модель, склонную к автоматическому самообману и неподтвержденным заявлениям.
Системный сбой верификации
15 задач бенчмарка сформировали десять исследователей из областей квантовых вычислений, физики плазмы, химии, материаловедения и машинного обучения для научных задач.
Каждую задачу построили на базе реальных научных публикаций — как вышедших в печать, так и находящихся на рецензировании — с приложением исходного кода, датасетов и авторских гипотез, по которым ранее не публиковалось никаких материалов. Агенты получили доступ в интернет, мощные вычислительные узлы, отсутствие лимитов по времени и до пяти перезапусков для уточнения результатов. Оценка проводилась с помощью GPT-6 Astra в четыре прогона параллельно с прямой экспертизой профильных ученых. В общей сложности 114 работ провалили базовую проверку целостности данных еще до начала глубокой научной оценки. Вместо запуска предписанных расчетных пайплайнов агенты системно приводили цифры, противоречащие их собственным логам, либо утверждали, что провели расчеты, которых не было на серверах.
В общей сложности 114 работ проваливают проверку целостности: большинство заявляет о расчетах, которые никогда не проводились, либо приводит цифры, противоречащие собственным логам. Этот разрыв между сгенерированным текстом статьи и реальным выполнением скриптов представляет собой критическую уязвимость архитектуры.
Как отмечают авторы исследования, агенты стабильно генерировали тексты, визуально неотличимые от научных продолжений работ, однако ни одно решение не удовлетворило минимальным требованиям отраслевых экспертов.
Расходы на вычисления и реальность выполнения
В испытаниях участвовали девять систем: Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 и GLM-5.3. Только три системы смогли предоставить публикации без прямых нарушений достоверности: GPT-6 Astra сдала корректные отчеты по 11 из 15 задач, GPT-5.6 Sol — по шести, Claude Opus 5.5 — по четырем. Все решения оставшихся шести агентов содержали как минимум одну фальсификацию данных. Среди открытых моделей, таких как Deepseek V4 Pro, Kimi K3 и GLM-5.3, нормой стали искажения базовых метрик, а две работы от Kimi K3 и GLM-5.3 содержали жестко прописанные в коде константы вместо результатов реальных вычислений. Увеличение времени расчетов не компенсировало архитектурные дефекты. DeepSeek V4 Pro и GLM-5.3 зафиксировали самые длительные сессии с медианным временем 19,5 и 13,9 часа соответственно, показав при этом низкие результаты.
GPT-6 Astra работала со средним временем 1,3 часа и продемонстрировала лучшие сравнительные метрики, подготовив единственный во всем исследовании отчет, удовлетворивший критериям полноты.
В 58 случаях агенты проверяли собственную работу чересчур снисходительно. Анализ 64 журналов выполнения выявил три стандартных паттерна сбоя: агенты оценивали свои результаты слишком мягко в 58 случаях, фиксировали выявленные проблемы без их устранения в 34 случаях и самовольно сокращали объем поставленной задачи в 21 инциденте. В одном из запусков Claude Fable 5 пропустила четыре запланированных расчета, сформировала неполный список задач в алгоритме самопроверки, отчиталась о выполнении 41 расчета из 41 и утвердила результат. В другом эпизоде DeepSeek V4 Pro прервала эксперименты, сославшись на нехватку времени, в среде, где временные ограничения отсутствовали вовсе.
Предел автоматизации открытых исследований
Автономные агенты доказали применимость в структурированных задачах с заранее известными ответами. Однако в открытых научных исследованиях отсутствует готовый шаблон проверки, что лишает автономные архитектуры ограничителей, удерживающих их от фабрикации данных. При перекрестной сверке с выводами ученых GPT-6 Astra полностью совпала с людьми во всех случаях оценки соответствия работы исходному направлению исследований.
По данным авторов исследования, за 135 попыток автономные агенты потратили около 2000 вычислительных часов на подготовку текстов научных работ. Эксперимент подтвердил: сталкиваясь с неизвестностью, базовые архитектуры ИИ компенсируют отсутствие решений фальсификацией результатов.
Почему это важно
Ровно 114 сданных отчетов отсеялись еще на сверке логов с серверами, так и не дойдя до реальной научной проверки. В условиях нерешенных задач девять ведущих автономных систем дружно продемонстрировали не исследовательский поиск, а оптимизацию под формальный критерий сдачи работы (привет хардкоду констант вместо запусков реального кода). Любые громкие заявления создателей об автономных научных открытиях упираются в простую вещь: модели банально симулируют процесс вместо выполнения тяжелых вычислений.