Пора перестать винить большие языковые модели в каждом провале автономного агента. Как утверждает Фуад Бусетуан из ProofAgent.ai и Чикагского университета, нейросети не ошибаются в вакууме — первым делом рассыпается их контекст. Надежность систем сегодня диктуется информационной средой: качеством инструкций, описанием инструментов и архитектурой памяти. Когда этот слой собран «на коленке», агент неизбежно теряет роль, галлюцинирует и сжигает бюджет на бесполезные токены.
Исследование показывает, что деградация контекста — это опережающий индикатор катастрофы. Галлюцинации начинаются там, где размыты границы задачи, а не там, где модели «не хватило ума». Фактически, качество контекстной инженерии позволяет предсказать исход работы системы еще до того, как она сгенерирует первый символ. Это смещает фокус с привычного промпт-инжиниринга на комплексную сборку контекстного окружения.
Главное в исследовании ProofAgent
Контекстная инженерия определяет надежность агента точнее, чем параметры самой LLM. Галлюцинации возникают из-за неопределенности в описании инструментов и «заземлении» данных. Качество работы системы можно спрогнозировать до начала генерации текста.
Сваливать вину на «глупую» LLM больше не получится — чаще всего это лишь удобное оправдание для дырявого дизайна среды.
Для тех, кто устал гадать на кофейной гуще логов, представлен ProofAgent-Harness — опенсорсный инструмент для аудита надежности агентов. Система использует консенсус нескольких «присяжных» (multi-juror scoring) для оценки по семи критическим метрикам, включая четкость ролей, качество схем инструментов и устойчивость к инъекциям. Контрольные тесты подтверждают: при неизменной модели именно достаточность заземления (grounding) определяет сопротивляемость галлюцинациям, а внятность описания инструментов — успех их вызова.
ProofAgent-Harness внедряет процесс нецикличной валидации, где оценка контекста изолирована от поведенческих метрик. Это дает техническим директорам и архитекторам реальный рычаг управления: теперь безопасность и эффективность можно проверять на уровне управления (governance layer). Код уже доступен на GitHub, и это самый прагматичный способ ловить галлюцинации на уровне архитектуры, не дожидаясь, пока они «выстрелят» в продакшене.