Мультиагентные системы (MAS) на базе языковых моделей сегодня напоминают плохо управляемый стартап: агенты постоянно недопонимают друг друга, искажают информацию, и в итоге вся задача рассыпается как карточный домик. Главная проблема даже не в самих сбоях, а в «археологии логов». Когда коллектив нейросетей проваливает дедлайн, разработчики вынуждены вручную копаться в гигабайтах переписки, пытаясь угадать, кто именно совершил ошибку — планировщик, исполнитель или валидатор.
Этот ручной поиск иголки в стоге сена блокирует выход технологии из стадии «любопытных прототипов» в промышленную эксплуатацию.
Автоматизация контроля: фреймворк Who&When
Исследователи из университетов Пенсильвании (PSU) и Дьюка при поддержке экспертов из Google DeepMind и Meta решили перевести отладку из режима гадания в режим точной диагностики. Группа под руководством Шаокуна Чжана и Мин Инь представила фреймворк для автоматизированной атрибуции сбоев и бенчмарк Who&When. Система оценивает методы, которые позволяют автоматически и с текстовым пояснением указать на виновного агента и конкретный шаг, где процесс пошел не так.
Система идентифицирует конкретное звено в цепочке рассуждений. Предоставляется интерпретируемое обоснование ошибки. Процесс отладки ускоряется за счет автоматического анализа логов взаимодействия.
Экономика «хирургических» правок
Для бизнеса это вопрос не только порядка, но и выживания бюджета. Вместо того чтобы переписывать всю архитектуру или бесконечно дообучать всю группу агентов, компания получает возможность вносить точечные изменения. По оценкам авторов работы, адресная замена или донастройка конкретного проблемного звена радикально снижает издержки на инференс и ручной надзор.
Автоматизированный поиск виновного — это тот самый санитарный контроль, без которого автономное взаимодействие ИИ так и останется неуправляемым «черным ящиком».
Будущее иерархии в ИИ
Несмотря на то что код уже выложен в открытый доступ, а работа принята на конференцию ICML 2025, ключевой вопрос остается открытым. Насколько эффективными окажутся автоматические «надзиратели», если им придется проверять агентов, которые могут быть умнее их самих? Пока индустрия не решит эту проблему иерархии, реальная надежность корпоративного ИИ будет зависеть от того, хватит ли у системы самокритичности признать собственную ошибку.