Вот мы и добрались до ситуации, когда борьба технологических гигантов за лидерство в тестах ИИ-агентов упирается не в архитектуру нейросетей, а в банальную аппаратную мощность. Инфраструктурный шум и ограничения среды незаметно искажают результаты измерений, превращая объективные метрики в гонку вычислительных бюджетов.
Что на самом деле измеряют бенчмарки
Как следует из отчёта исследователей, рынок предпочитает не замечать проблему инфраструктурного шума в бенчмарках для ИИ-агентов, которые пишут и запускают код. Представьте двух агентов на одной и той же языковой модели, которые показывают разницу в результатах в три процентных пункта. Кажется, что побеждает сильнейший алгоритм. На практике же всё проще и дороже: один агент работал в условиях жестких лимитов, а другому выделили больше ресурсов.
На тесте разница между самой строгой и неограниченной конфигурациями достигла шести процентных пунктов.
Как выяснилось при запуске теста в среде, результаты не совпадали с официальным рейтингом, а часть задач падала из-за ошибок подов, не имеющих никакого отношения к способностям модели. Начиная с определенной версии, тест указывает рекомендуемые CPU и RAM для каждой задачи, но между рекомендацией и жестким лимитом лежит пропасть в стабильности.
Цена аппаратного запаса
Механика процесса проста: у контейнера есть гарантированный объем ресурсов и жесткий потолок, при превышении которого система аварийно завершает процесс. Если запаса нет, кратковременный всплеск памяти убивает контейнер по причине OOM. Чтобы понять масштаб проблемы, команда прогнала тест в различных конфигурациях: от строгой до варианта вовсе без лимитов.
Доля инфраструктурных ошибок заметно снижалась при переходе от строгой конфигурации к свободной, однако итоговая успешность менялась в пределах статистической погрешности. Простые ограничения съедали ресурсы, но не добавляли модели сообразительности. Зато после определенной отметки ситуация менялась кардинально.
Итог между крайними точками: +6% к успешности, а доля инфраструктурных ошибок упала с 5,8% до 0,5%.
Как отмечают исследователи, этот эффект воспроизводится и на других моделях, подтверждая системность проблемы. Проверка на другом тесте показала аналогичную динамику на задачах с многократным запуском каждой и объемом памяти до определенного значения от базового, где разница составила 1,54%. Бизнес переплачивает за выбор систем по бумажным бенчмаркам, не закладывая в бюджет скрытые требования к инфраструктуре развертывания.
Главное: Инфраструктурные ограничения меняют результаты тестов ИИ-агентов на 6% и более при неизменной базовой LLM. Переход от строгих лимитов к неограниченным конфигурациям стирает грань между лидерством вендоров в официальных рейтингах. Рынок движется к ситуации, когда реальная эффективность агента определяется не качеством его весов, а толщиной аппаратного кошелька при развертывании.