Исследователи из Массачусетского технологического института представили архитектуру SwaT, которая заменяет передачу текстовых саммари между агентами на прямой перенос обработанного KV-кеша. По оценке разработчиков, четырехкратное ускорение работы и рост качества ответов на 40% достигаются за счет устранения избыточной токенизации и повторной обработки данных. Подобная прямая передача контекста снижает вычислительные затраты, делая роевые ИИ-системы практически применимыми для бизнеса, однако коммерческое внедрение технологии упирается в стандартизацию форматов на стороне провайдеров моделей.
Технология работает между разными семействами моделей и способна передавать визуальную информацию от мультимодальных систем обычным текстовым. На бенчмарках комбинация SwaT со сжатием кеша продемонстрировала сокращение расходов на вычисления при сохранении полноты контекста. Вопрос о точной стоимости внедрения такой архитектуры и сроках ее появления в коммерческих API остается открытым, пока разработчики проверяют совместимость различных архитектур.
Прямой перенос памяти между моделями меняет экономику мультиагентных проектов, убирая избыточные расходы на инференс. Рынок ожидает реакции крупных игроков, от которых зависит появление стандартизированных протоколов обмена кешем в промышленных средах.