На бенчмарке памяти корпоративных sales-агентов ENT-310 (310 запросов) системы Retrieval-Augmented Generation показывают почти предельные метрики удержания и актуальности данных — от 0,93 до 0,98. Однако точность разрешения сущностей у них падает ниже 0,40. Стандартные корпоративные архитектуры исходят из предпосылки, что многосессионные сбои агентов вызваны неспособностью извлечь нужный контекст из векторных баз. Практические результаты исследователей Amazon (Chirag Ahuja, Vladislav Tanov, Ramcharan Kakarla и Jonathan Taws) демонстрируют обратное: задача полноты выборки (recall) фактически решена. Корпоративные внедрения теряют точность из-за того, что агенты не умеют разрешать неоднозначность схожих сущностей и не способны отказаться от ответа при отсутствии достаточных данных.
Устранение галлюцинаций памяти на десятках сессий взаимодействия с клиентами без раздувания бюджетов на инференс остается главным операционным препятствием для автономных систем. Предлагаемое решение разделяет архитектуру во времени: отказ от стандартных RAG-конвейеров в пользу битемпоральных графов устраняет конфликты в корпоративных записях и убирает лишние вызовы больших языковых моделей. Amazon реализует эту архитектуру в системе памяти агентов DISCERN, работающей по строгому принципу: сохранять при записи, разрешать при чтении.
Ловушка поиска и коллизии сущностей
Когда менеджер по продажам спрашивает, на каком этапе остановилась сделка три сессии назад, корпоративный агент решает задачу холодного старта, где ответ скрыт в предыдущих диалогах. Контекстное окно модели не способно вместить месяцы взаимодействия консультантов по десяткам клиентских аккаунтов, поэтому классические архитектуры используют персистентное хранилище с разделением путей записи и чтения. Стандартный путь записи извлекает факты в формате сущность-атрибут-значение (например, фиксируя вымышленную выручку в $5,1 млрд для Zephyron Cloud Solutions) параллельно с накопительными саммари сессий в пространствах имен конкретных участников. При чтении поисковый модуль извлекает топ-10 наиболее релевантных записей из обоих хранилищ, а опциональный вызов модели для обогащения запроса пытается точно определить целевую сущность.
«Метрики удержания и актуальности практически насыщены — около 0,93–0,98 у любой работоспособной системы, так что задача полноты выборки решена. Нерешенным остается разрешение: к какой именно сущности относится запрос, какое временное состояние актуально и следует ли вообще давать ответ или отказаться от него из-за нехватки данных».
Подобный пайплайн маскирует критические архитектурные дефекты. Базовые решения полагаются на однократное снятие неоднозначности через единственный вызов модели после извлечения данных, не имея итеративных циклов валидации. Главное: в таких системах отсутствует контракт терминальных состояний — они всегда генерируют ответ, даже когда запрос невозможно обработать на основе сохраненной памяти. Стандартные конвейеры не различают состояния ANSWER, UPDATE, CLARIFY и ABSTAIN. В результате устаревшие, галлюцинированные и смешанные данные попадают в итоговые ответы, оставаясь абсолютно незаметными для традиционных метрик векторного поиска. Простое обогащение запросов и расширение контекста эти коллизии предотвратить не могут.
Результаты бенчмарков подтверждают: векторное индексирование само по себе не решает проблему. Стандартные RAG-ридеры в связке с семантическими хранилищами не уступают продвинутым конфигурациям памяти по чистой полноте выборки. Однако они терпят крах, когда имена сталкиваются в пространстве эмбеддингов, а новые факты противоречат старым записям. Разрешение темпоральных состояний и спорных сущностей требует детерминированной структуры данных еще до поступления запроса, а не попыток дорогой модели импровизировать на этапе генерации.
Структурированный аудит вместо сжигания токенов
В системе DISCERN Amazon внедряет жесткое разделение обязанностей на протяжении всего жизненного цикла данных. На этапе записи фреймворк формирует неизменяемый журнал событий для каждого участника как единый источник правды и агрегирует наблюдения в производный битемпоральный граф происхождения данных. Этот процесс исключительно аддитивен: он никогда не склеивает похожие сущности и не удаляет устаревшие значения. На этапе чтения агентный цикл работает через набор детерминированных инструментов без вызова LLM, перемещается по графу и фиксирует ровно одно из четырех изолированных терминальных действий: ANSWER, UPDATE, CLARIFY или ABSTAIN.
«На ENT-310 система DISCERN показала лучшую калибровку по метрике отказа от ответа с большим отрывом (F1 0,924 против максимум 0,802 среди восьми базовых систем) и лидирует по общей корректности ответов при равном весе метрик (0,861 против 0,806 у сильнейшего бейзлайна). Этот отрыв обеспечен разрешением сущностей: 0,800 у DISCERN при показателях остальных систем ниже 0,40».
Оценка пулом из четырех независимых LLM-судей подтверждает экономическую и техническую эффективность подхода. На датасете ENT-310 (210 фактологических запросов и 100 запросов без ответа) DISCERN достиг F1-оценки в 0,924 по точности воздержания от ответа против пиковых 0,802 у восьми альтернативных систем. При равном весе параметров DISCERN показал общую корректность ответов 0,861 против 0,806 у ближайшего конкурента. Преимущество обусловлено именно разрешением сущностей: 0,800 у DISCERN против значений ниже 0,40 у стандартных систем. При переносе без дополнительной настройки на бенчмарк LoCoMo аналогичный пайплайн удержал лидерство по точности ответов (0,663 против 0,638) и сохранил строгую калибровку при отказах на запросы с ложными предпосылками.
Корпоративные системы памяти не масштабируются через грубый векторный поиск, когда бизнес-данные непрерывно меняются и накладываются друг на друга. Перенос логики из дорогостоящих вызовов инференса в детерминированные битемпоральные графы позволяет исключить галлюцинации автономных агентов. Архитектуры, в которых не формализованы контракты состояний данных, неизбежно столкнутся с лавинообразным ростом затрат на валидацию по мере накопления истории взаимодействий.
В чём смысл
Корпоративные поисковые конвейеры блестяще находят факты с точностью до 0,98, но на задаче разрешения сущностей та же механика внезапно выдает меньше 0,40. Векторный поиск исправно достает данные из баз, однако LLM-агент путает похожие клиентские записи и упрямо генерирует ответ вместо отказа от него (ну не умеет стандартный пайплайн вовремя сказать «не знаю»). Если в мае уже обсуждался прямой риск отравления памяти и RAG, то выкладки команды Amazon обнажили более прозаичный инженерный косяк: модели слепнут от собственных устаревших записей без всяких внешних атак. Сумеет ли архитектура DISCERN удержать показатели 310 запросов бенчмарка без скрытого раздувания расходов на инференс при чтении?
Наши материалы: Безопасность ИИ-агентов: риск отравления памяти и RAG (19 мая).