GPT-6 Astra, признанная лучшей из десяти протестированных моделей в новом сравнительном исследовании, выполняет в среднем около 70% требований технического задания. Однако за этим частичным успехом скрывается серьезное операционное препятствие: полностью корректный результат модель выдает лишь в 26,4% задач. В то время как на синтетических бенчмарках автономные системы генерации кода демонстрируют показатели, близкие к безупречным, внедрение в боевую среду вскрывает резкое падение надежности при обработке реальных запросов на модификацию ПО.
Автономные кодинг-агенты упираются в архитектурные ограничения на сложных задачах. В результате запланированная экономия на фонде оплаты труда оборачивается непрерывными накладными расходами на ручной код-ревью. Исследовательские группы регулярно фиксируют результаты выше 99% на устаревших бенчмарках, где моделям разрешено самостоятельно запускать, проверять и исправлять свой код. Однако новый тест Co-Design Bench, разработанный специалистами из Alibaba и ряда азиатских университетов, доказывает: даже передовые frontier-модели способны полностью закрыть лишь примерно каждую четвертую задачу из практики.
Разрыв с реальностью за фасадом синтетических тестов
При создании Co-Design Bench исследователи брали задачи напрямую из реальных рабочих сессий программирования, где разработчикам приходилось многократно переформулировать промпты или откатывать изменения в кодовой базе. Тестовые сценарии требуют от агентов переработки существующих веб-приложений по инструкциям, включающим изображения, аудиозаписи, видео или документы.
Оценка построена на двухэтапной верификации: первый ИИ-арбитр тестирует собранное веб-приложение в активном браузере, а второй ИИ-аудитор проверяет каждый положительный вердикт, исключая моки и захардкоженные заглушки. Баллы начисляются исключительно за функции, которые физически работают внутри приложения. В таких условиях расстановка сил в коммерческом рейтинге резко меняется. Вслед за GPT-6 Astra расположились Claude Opus 5 и Qwen3.8-Max, тогда как Grok 4.6 опустился на последнее место.
В большинстве случаев агент выполняет основной объем работы, но упускает как минимум одну деталь, поэтому любому пользователю этих инструментов практически всегда приходится дописывать код вручную.
Этот структурный дефицит объясняет, почему корпоративная разработка пока не может делегировать автономным моделям сквозное исполнение задач под ключ. При комплексном рефакторинге крупных проектов более компактная модель Qwen3.8-27B сумела подняться на вторую строчку, хотя авторы исследования предостерегают от восприятия этой метрики как доказательства ее превосходства в производственных нагрузках. Проблема носит фундаментальный характер: точность падает на любой протестированной архитектуре, как только один промпт объединяет изменения верстки, визуального дизайна, логики интерфейса и контента.
Парадокс вычислений и среды выполнения
Способны ли увеличенные бюджеты на токены и утяжеленный инференс устранить эти сбои?
Данные показывают, что нет. GLM-5.2 сжигает почти в шесть раз больше токенов, чем GPT-6 Astra, на небольших правках интерфейса, но при этом демонстрирует заметно более низкий результат. Наращивание объема токенов внутри агентского пайплайна не компенсирует логические разрывы в рассуждениях, когда требования переплетаются между собой. Затраты на вычисления экспоненциально растут, не обеспечивая приемлемой отдачи на проде.
Помимо весов самой модели, решающую роль играет базовая инфраструктура исполнения. В специальном тесте исследователи запускали одни и те же модели через различные тестовые обвязки (harnesses) — программы, через которые агент считывает, модифицирует и выполняет код приложения.
Модель Qwen3.8-27B набирала 75% либо всего 56% на масштабном рефакторинге исключительно в зависимости от используемой среды.
Разрыв в девятнадцать процентных пунктов доказывает: тестирование моделей в отрыве от инфраструктуры дает ложные бизнес-метрики. Авторы работы рекомендуют бизнесу оценивать базовую модель строго в связке с ее программной обвязкой. Впрочем, усложнение инструментов быстро упирается в собственный предел эффективности. Продвинутые среды способны менять позиции моделей в рейтинге, однако недавние исследования кодинг-агентов выявили минимальный измеримый прирост производительности от сложных обвязок при трехкратном росте расхода токенов.
Независимый аудит подтверждает, что синтетические бенчмарки систематически завышают реальную ценность систем для бизнеса. Ранее исследование исследовательской организации METR показало: фактическая доля принятия сгенерированного кода тимлидами отстает от показателей бенчмарка SWE-bench Verified примерно на 24 процентных пункта. И хотя Co-Design Bench исключает многоэтапные диалоговые подсказки от человека, результаты одиночных промптов обнажают реальный технологический базис генерации. Корпоративные команды, внедряющие таких агентов, сталкиваются с прямым калькуляционным казусом: бизнес оплачивает инференс, который сбоит в трех четвертях комплексных задач, а затем компенсирует это дорогостоящими инженерными часами на отладку.
Что это значит
Синтетические тесты сулят идеальную автоматизацию с точностью за девяносто девять процентов, но в реальной разработке даже лидер рейтинга закрывает под ключ лишь чуть больше четверти задач. Бизнес надеялся срезать фонд оплаты труда, а получил необходимость перепроверять почти три четверти готового кода вручную (ну не бросать же сломанный прод на волю алгоритмов). Раздувание бюджетов на токены эту дыру тоже не закрывает: GLM-5.2 жжет почти в шесть раз больше ресурсов, чем GPT-6 Astra, выдавая результат еще хуже. Полная автономность разработки пока свелась к тому, что высокооплачиваемые программисты тратят рабочие часы на вылавливание чужих захардкоженных заглушек.