Золотой стандарт оценки AI-программистов внезапно превратился в тыкву. Команда Сэма Альтмана официально отозвала поддержку SWE-bench Pro — метрики, которая должна была имитировать реальные задачи из GitHub. Детальный аудит OpenAI показал, что около 30% заданий в тесте фундаментально сломаны. Это не просто академический спор: на этих цифрах бизнес строил расчеты окупаемости автономных агентов и выстраивал протоколы безопасности в рамках Preparedness Framework. Когда у линейки погрешность в треть длины, любая корпоративная стратегия на базе таких данных превращается в гадание на кофейной гуще.
Анатомия фиктивного бенчмарка
Чтобы вскрыть масштаб бедствия, исследователи OpenAI скомбинировали автоматический скрининг и ручную проверку. Сначала алгоритмы пометили 286 подозрительных задач, затем в дело вступили агенты на базе Codex, а финальный вердикт выносили люди. Итог: 200 задач (27,4%) признаны браком. Пятеро приглашенных разработчиков были еще категоричнее, забраковав 34,1% кейсов. Проблемы варьируются от абсурдной строгости до полной двусмысленности. Например, в проекте OpenLibrary описание требовало один пробел, а скрытый тест ожидал два. Модель, идеально выполнившая инструкцию, получала штраф.
По словам экспертов OpenAI, тесты в таких проектах слишком специфичны, так как создавались для верификации конкретных правок, а не в качестве универсальных технических заданий.
Эта структурная ригидность приводит к тому, что модели наказывают за правильные, но «неканонические» решения, которые не совпадают с историей коммитов. С другой стороны, часть тестов оказалась слишком поверхностной: они пропускали откровенно кривой код, если он проходил по низкой планке формальных условий. Для СТО это четкий сигнал: заявленная лидерами рынка точность в 80% мгновенно испаряется, как только AI сталкивается с грязной и запутанной кодовой базой реального предприятия.
Утечка данных и имитация разума
Индустриальная зависимость от SWE-bench была подорвана и феноменом «натаскивания». Аналитики из Artificial Analysis исключили этот бенчмарк из своего рейтинга еще в июне, обнаружив, что модели не решают задачи, а просто цитируют историю изменений из GitHub. Такая утечка данных превращает тест на логику в упражнение по развитию памяти.
На наш взгляд, демарш OpenAI выглядит как попытка обнулить старые правила игры перед запуском моделей семейств o1 и o3. Признавая текущие тесты мусором, компания получает карт-бланш на введение новых, более закрытых и «чистых» метрик, под которые конкурентам придется подстраиваться заново. Владельцам бизнеса пора признать: маркетинговые графики производительности LLM больше не коррелируют с реальностью. Пока индустрия не перейдет к верифицируемым изолированным средам, единственным достоверным бенчмарком остается ваш собственный проект, а не синтетические рейтинги из интернета.