Скрытые сбои инструментов регулярно ломают ИИ-агентов в промышленной эксплуатации: закешированные ответы с ошибками и аномальные значения вроде отрицательного остатка товаров возвращаются в синтаксически корректном формате. Вместо вызова явных исключений сервисы незаметно искажают контекстное окно модели. В итоге агент принимает некорректные данные за истину, что полностью сбивает дальнейший ход выполнения задачи. Чтобы решить проблему неявных ошибок, исследователи Сугам Панти и Рабаб Абдельфаттах из Университета Южного Миссисипи разработали Outcome Monitors — уровень валидации на основе контрактов, перехватывающий аномалии до того, как они загрязнят траекторию рассуждений.
Этот механизм проверяет ответы внешних инструментов на соответствие декларативным контрактам результатов, сформированным на базе схем или извлеченным из истории успешных запусков. Монитор не блокирует выполнение жестко и не останавливает процесс: он сохраняет исходный ответ и прикрепляет к нему рекомендательный диагностический отчет. В этом отчете фиксируется нарушенное условие и прямо предлагаются доступные инструменты для восстановления, благодаря чему базовая модель может автономно скорректировать следующий шаг.
На бенчмарках ToolMaze в условиях искусственного внедрения ошибок Outcome Monitors увеличили долю успешного выполнения задач с 10,9% до 28,1% на четырех передовых моделях двух разных семейств, продемонстрировав аналогичный прирост и на третьем. Контрольные абляционные тесты показали, что ключевой фактор успеха — сочетание диагностических отчетов с практическими сценариями исправления. В тестах τ-bench для розничной торговли успешность выполнения задач выросла на 14,0 и 12,0 процентных пунктов на разных уровнях сложности. Это подтверждает: надежность корпоративных агентов зависит от структурированной обратной связи и инструментов восстановления, а не от усложнения промптов или жестких защитных барьеров.