Современные ИИ-агенты для глубоких исследований (Deep Research) перестали быть просто поисковиками — они выступают архитекторами знаний. Системы вроде OpenAI Deep Research или gpt-researcher самостоятельно дробят сложные запросы на подзадачи и синтезируют объемные отчеты на основе многоэтапного поиска. Однако, как указывают Юэ Пан, Цзыхэн Чжан и их коллеги из Университета Фудань и Explore Academy (JD), именно эта автономность открывает опасную поверхность для «отравления» на уровне планирования. В отличие от классического RAG, где атака портит лишь конкретный ответ, злоумышленник, попавший в поисковую выдачу агента, способен перехватить всю траекторию исследования.
Механика захвата траектории
Исследователи представили FORGE (Fabricated Orchestrated Reasoning chain for aGent Exploitation) — двухкомпонентную атаку для манипуляции логическим слоем агента. На уровне документа FORGE использует внутридокументную фальсификацию: в текст встраиваются цепочки рассуждений, которые представляют нужный злоумышленнику тезис не как голословное утверждение, а как логически выведенный результат. На сетевом уровне применяется междокументная координация, распределяющая аргументацию по нескольким источникам.
Связка «поиск — планирование» создает уникальную зону риска: враждебный контент просачивается сквозь итерации планирования и приводит к тотальному заражению итогового отчета.
Такая оркестровка обходит встроенные фильтры консенсуса, так как отравленные документы выглядят для модели как независимые подтверждения из разных источников. Обрабатывая эти ложные «зацепки», агент генерирует уточняющие подзадачи, которые уводят исследование вглубь навязанного нарратива. В итоге дезинформация масштабируется еще до начала финального синтеза.
Метрики заражения и миграция смыслов
Для оценки ущерба была введена метрика PRISM (Poisoning Report Impact Severity Metric). Она анализирует вес зараженных утверждений по пяти когнитивным типам: от фактологических до причинно-следственных. Это позволяет выйти за рамки простого поиска ключевых слов и измерить, насколько сильно искажена логика агента. Эксперименты показали, что Network FORGE достигает показателя PRISM в 26,4% при внедрении всего пяти документов.
В Network FORGE наблюдается эффект «миграции глубины»: в процессе рекурсивного синтеза отравленный контент превращается из явного манипулятивного фрейминга в неоспоримые фактические предпосылки.
Этот феномен особенно тревожен: один токсичный источник в веб-поиске запускает системное искажение, при котором агент в конечном итоге воспринимает вредоносную интерпретацию как установленный факт в своем аналитическом отчете.
Ограничения архитектуры и линии защиты
Исследование обнажает фундаментальный изъян: разделение планирования и исполнения в текущих архитектурах не защищает от «отравления» процесса. В качестве контрмеры команда предложила Root Query Anchoring (RQA) — механизм, который принудительно внедряет исходный запрос пользователя в каждую итерацию генерации подзадач. В ходе тестов RQA снизил балл PRISM с 38,5% до 18,3%. Это создает определенный буфер безопасности, но не решает проблему полностью: чем автономнее становится агент, тем шире поле для эксплуатации его логики.
Для бизнеса переход от простых RAG-систем к автономным агентам означает появление уязвимостей, которые не ловятся стандартными фильтрами контента. «Консенсус» в автоматизированном поиске легко фальсифицируется группой скоординированных источников. Использование таких агентов для конкурентной разведки или анализа госполитики сегодня несет риск скрытой подмены понятий, когда дезинформация вшивается в саму структуру вопросов, которые ИИ решает задать. Пока механизмы вроде RQA не станут индустриальным стандартом, верификация человеком плана исследования — а не только финишного документа — остается жесткой необходимостью.