Рынок долгосрочных автономных систем наконец-то отошел от восторженных пресс-релизов и перешел к жесткому аудиту эффективности. Главная проблема остается неизменной: когда алгоритмы пытаются выстроить многошаговую бизнес-логику, они упираются в глухую стену базовой некомпетентности. Исследователи из Microsoft и Городского университета Гонконга создали специализированный тестовый фреймворк именно для того, чтобы измерить, насколько качественно AI-агенты принимают стратегические решения в ходе продолжительных рабочих процессов. Существующие бенчмарки оценивают лишь то, завершает ли агент задачу в итоге, полностью игнорируя структурный распад его промежуточных шагов.
Существующие бенчмарки оценивают лишь то, завершает ли агент задачу в итоге, а не качество его шагов. Taste-Bench призван восполнить этот пробел.
В основу этой новой метрики легли отслеживаемые траектории выполнения задач агентами в рамках бенчмарков по разработке ПО и исследовательской деятельности, включая SWE-bench Pro и публичные стенограммы датасета MALT от METR. Полученный массив данных содержит 502 уникальных пункта принятия решений, предлагая моделям базовую задачу, конкретную траекторию выполнения вплоть до развилки и два возможных пути дальнейшего движения.
Финансовые риски и деградация точности на длинных дистанциях
Экономика внедрения автономных агентов сталкивается с системной ловушкой: ранние ошибки маскируются под чистый, рабочий код, при этом сжигая корпоративные бюджеты на вычисления задолго до того, как кто-либо обнаружит сбой. Протестировав линейку моделей от Claude, GPT, Grok, DeepSeek, GLM, MiniMax и Mistral, исследователи выяснили, что даже лучшие из них с трудом преодолевают шестидесятипроцентный рубеж. Лидер тестирования, GPT-5.6 Sol, показал в среднем всего 59,7 процента, а GPT-5.5 расположился следом с 59,5 процента.
Лучшая из протестированных моделей, GPT-5.6 Sol, показала в среднем 59,7 процента, за ней следует GPT-5.5 с 59,5 процента.
Когда ключевая подсказка находится прямо на предыдущих этапах, точность моделей возрастает до скромных 62,3 процента. Но если эта подсказка задерживается или маскируется, точность падает до 21 процента — что статистически неотличимо от простого угадывания. Направление дополнительных вычислительных мощностей на этап рассуждений не решает базовую проблему: модели просто растрачивают дорогие токены на ветки, где необходимые данные физически еще отсутствуют в контекстном окне.
Инфраструктурная ловушка и перераспределение бюджетов
Масштабирование автономных систем упирается в непреодолимое препятствие, поскольку модели попросту не способны прогнозировать отдаленные последствия ранних архитектурных решений без постоянного контроля со стороны человека. Новый датасет демонстрирует, что даже глубокие циклы тестирования не спасают от катастрофического дрейфа логики на длинных горизонтах, превращая автоматизированные рабочие процессы в дорогостоящую статью операционных убытков. Руководителям инженерных направлений необходимо незамедлительно провести аудит лимитов на API-запросы и договоров с вендорами с учетом скрытого налога на вычисления, который порождает некорректное ветвление кода.