Ваш LLM-агент только что успешно оформил возврат за невозвратный билет, а логи светятся зеленым, рапортуя о стопроцентном успехе. Исследователи из Индийского технологического института в Харагпуре (Викас Редди, Сумант Редди Чалларам) и MIT (Абхишек Басу) называют это «тихим сбоем состояния» (silent wrong-state failure). Это фундаментальная проблема доверия к автономным системам: агент совершает запрещенное действие, инструмент его исполняет, потому что синтаксис верен, а в отчетах воцаряется идеальный порядок. База данных уже отравлена, но мониторинг видит лишь «успешное завершение задачи».
Ловушка либеральных инструментов
Корень зла — в «либеральной» программной среде. В реалистичных бенчмарках вроде τ2-bench инструменты спроектированы так, чтобы выполнять любой корректный вызов, даже если корпоративная политика, описанная в текстовом документе, прямо запрещает такой переход. Данные по авиационному домену τ2-bench показывают, что 78% всех зафиксированных сбоев — это именно тихие нарушения, которые не вызывают ошибок в коде. Модель просто игнорирует правила перед отправкой команды на запись, а инструмент, лишенный механизмов проверки условий, послушно исполняет волю ИИ. Это не случайный баг, а системная слепота.
«Состояние системы неверно... вопрос в том, есть ли у развернутой агентской системы хоть какой-то надежный сигнал о том, что модель нарушила политику перед вызовом изменяющего данные инструмента».
Этот разрыв доказывает: полагаться на «внутреннее рассуждение» или натренированную «этику» модели в вопросах комплаенса — стратегия заведомо проигрышная. Если агента можно уговорить изменить количество пассажиров или провести операцию на основе непроверенных данных, бизнес получает вполне реальные юридические риски, которые ИИ-самописец не зафиксирует. Исследователи обнаружили, что эти сбои воспроизводятся независимо от случайных факторов (seeds), а значит, их нельзя «вылечить» наращиванием вычислительных мощностей или игрой с температурой. Разовый успех системы — это не показатель безопасности, а лишь статистическая флуктуация.
Детерминированные шлюзы как последняя линия обороны
Вместо того чтобы надеяться на «совесть» алгоритма, авторы предлагают перейти к жесткой верификации. Они протестировали четыре детерминированных шлюза (Deterministic Gates), работающих в режиме read-only. Эти шлюзы инспектируют каждый вызов инструмента и текущее состояние базы данных ДО того, как разрешить операцию записи. Результаты впечатляют: для gpt-4o-mini такая легкая надстройка подняла общую успешность на бенчмарке с 29,6% до 42,0%. В сценариях, где шлюзы непосредственно срабатывали, успех подскочил сразу на 19,2 процентных пункта. Механизм работает как жесткий физический барьер, останавливающий модель в момент попытки нарушения.
«Детерминированные шлюзы не гарантируют успех задачи, но они гарантированно предотвращают целый класс скрытых нарушений политик на границе действия».
Проблема актуальна и для топовых систем. Тесты на продвинутых моделях семейства GPT показали, что даже самые «умные» рассуждения пасуют перед сложными правилами: модели всё равно пытались совершить запрещенные записи. Однако внедрение шлюзов помогло поднять их результативность с 61,2% до 71,6%. Это смещает фокус безопасности с «черного ящика» нейросети на прозрачный и проверяемый уровень классической программной инженерии. Для бизнеса вывод очевиден: умные модели не способны на самоцензуру в гибких средах. Путь к надежной автономии лежит через парадигму «меньше рассуждений, больше проверок». Дорогие попытки дообучить модель этике через RLHF проигрывают жестким программным барьерам. Шлюзы не научат ИИ решать задачи лучше, но они дают то единственное, чего не может дать LLM: гарантию того, что система встанет в «стоп» раньше, чем будет нанесен ущерб.