Традиционный мониторинг расписывается в бессилии перед эпохой агентов. Восьминедельное исследование продакшн-системы, проведенное независимым исследователем Вэй У, вскрыло опасный феномен «правдоподобного отказа» (fail-plausible behavior). Цифры бьют по самолюбию разработчиков: несмотря на плотный заслон из 4286 юнит-тестов и 827 проверок управления, система допустила 22 критических инцидента. Ошибки не просто игнорировались — алгоритмы упаковывали их в убедительную ложь. Пока автоматика светилась зеленым, подтверждая «здоровье» системы, агент с безупречной дикцией скармливал пользователям вымысел.
Аудит показал, что 70% этих «тихих провалов» были обнаружены только живыми людьми, а не техническими метриками. Текущие слои декларативного управления на поверку оказались машинами регрессии, а не прогнозирования: их эффективность в предотвращении новых инцидентов составила ровно 0%. Исследование классифицирует галлюцинации в инфраструктуре как системный сбой на стыке топологий развертывания и межскриптовых контрактов — там, где классические тесты кода попросту не работают. Ошибки планировщика и кривые вызовы инструментов превращаются в логически связные, но абсолютно ложные отчеты для бизнеса, живущие в системе до 60 дней.
Главные выводы исследования
Стандартные юнит-тесты функционально бесполезны против каскадных логических ошибок в многомодельных системах на базе LLM.
Когда софт спроектирован быть «красноречивым», падение перестает выглядеть как баг — оно превращается в захватывающую историю.
Реальный операционный риск сегодня заключается не в том, что агент внезапно остановится, а в том, что он продолжит работать идеально на бумаге, уверенно галлюцинируя на пути к финансовому хаосу и выжиганию бюджета компании в режиме полного радиомолчания.