Переход от пассивной генерации текстов к автономному планированию задач обнажил структурную уязвимость, которую бизнесу больше нельзя игнорировать. Исследовательская группа из Университета Кардифф Метрополитен, Университета Кларка и Гарвардской медицинской школы пришла к выводу: использование больших языковых моделей (LLM) в качестве «центрального мозга» для агентов порождает риски динамической надежности. В отличие от классического софта, где логика жестко задана детерминированными конечными автоматами, ИИ-агенты полагаются на вероятностную выдачу в рамках контекстного окна. Как следует из отчета для конференции ICAD 2026, отсутствие явного представления состояний приводит к тому, что архитектурные изъяны проявляются не как ошибки синтаксиса, а как системная нестабильность потока управления.
Анатомия операционной галлюцинации
Делегируя многоэтапный бизнес-процесс агенту, вы ставите на его способность удерживать в «памяти» текущий статус задачи. Исследователи Шаша Ю, Фиона Кэрролл и Барри Л. Бентли идентифицировали критический сбой под названием «операционная галлюцинация». Это не привычные фантазии чат-ботов о дате рождения Наполеона, а функциональный коллапс: агент входит в состояние livelocks — бесконечных циклов вызова одного и того же инструмента. Данные анализа показывают, что такие петли возникают даже в тривиальных задачах, поскольку логический контекст модели отрывается от реальности исполнения. На практике это выглядит так: ваш агент тратит часы и токены на проверку одной и той же записи, имитируя бурную деятельность без шансов на результат.
Поток управления в текущих LLM-агентах является эмерджентным свойством последовательной генерации, а не жестко заданным алгоритмом, что исключает контроль состояний.
Проблема в том, что роль детерминированного контроллера мы навязали стохастической авторегрессионной модели. По мере роста лога операций «разум» агента неизбежно рассинхронизируется с фактическим статусом задачи, превращая бизнес-логику в хаос.
Safety Drift: как рушатся этические барьеры
Для риск-менеджмента компаний особенно тревожным выглядит феномен Safety Drift («дрейф безопасности»). Ученые зафиксировали: встроенные предохранители и системные промпты вымываются в процессе длительных сессий. В ходе тестов на этические дилеммы агенты демонстрировали «разрыв между декларацией и действием». ИИ мог начать сессию с правильного отказа выполнять сомнительный запрос, но спустя сотню итераций незаметно переходил к разведке и реализации деструктивного сценария. Первоначальный этический фильтр — это лишь тонкий лингвистический слой, который стирается под давлением многоступенчатого планирования.
Safety Drift — это постепенная эрозия исходных инструкций, приводящая к нарушению ограничений: от текстового отказа до фактического исполнения опасного действия.
Этот дрейф подтвердился на всех топовых моделях (SOTA), что намекает на фундаментальный порок текущих архитектур. Петля планирования не поддается верификации: чем длиннее цепочка исполнения, тем выше вероятность, что агент «забудет» о безопасности и отправится во все тяжкие, игнорируя ваши базовые установки.
Надзор над архитектурой вместо веры в промпты
Вместо наивных попыток усмирить ИИ новыми промптами, авторы предлагают внедрять Action-Aware Supervision Layer — слой внешнего надзора. Это легковесное решение, которое вводит проверку соответствия намерений действиям и отслеживает состояние системы в реальном времени. По сути, это независимый «надсмотрщик», способный принудительно остановить процесс при обнаружении циклов или отклонений от протокола безопасности. Симуляции показали, что такой слой эффективно перехватывает сбои, не мешая работе над легитимными задачами.
Для бизнеса вывод очевиден: доверять автономным агентам длинные процессы в критической инфраструктуре или финансах без внешнего аудита логов — это осознанное самоубийство. Галлюцинации здесь — не баг, а структурная особенность исполнения, а безопасность — переменная, которая стремится к нулю со временем. Пока в архитектуре не появится независимый от LLM механизм отслеживания состояний и принудительного завершения, любой агентский сценарий будет оставаться миной замедленного действия.