Современные рассуждения ИИ опираются на масштабирование во время вывода (test-time scaling), где языковые модели имитируют работу мультиагентных систем для поиска оптимальных решений. Чтобы не заплутать в ветвях логических цепочек, используются модели вознаграждения (Process Reward Models, PRM), которые оценивают каждый промежуточный шаг. Однако, как указывают Пэн Куанг и группа исследователей из Иллинойсского университета и Имперского колледжа Лондона, нынешние PRM — это технический тупик. Они работают исключительно с текстом, что вынуждает систему заново перекодировать всю траекторию рассуждений для каждой новой гипотезы. Поскольку сложность self-attention растет квадратично, стоимость проверки цепочки в длинном контексте начинает съедать столько же ресурсов, сколько и сама генерация.
Инженерия против текста: Эффективность KV-Cache Transfer
Проблема кроется в неэффективном использовании стека инференса. В процессе генерации агент естественным образом создает KV-кэш — высокомерное внутреннее представление траектории. Традиционные текстовые PRM попросту выбрасывают эти данные, заставляя модель-верификатор опираться на «кастрированные» дискретные токены. Исследователи предложили KV-PRM: архитектуру, которая позволяет PRM напрямую считывать внутреннее состояние агента. Добавляя единственный «токен верификации» в конец последовательности, KV-PRM переводит стоимость вычислений из квадратичной зависимости O(L²) в линейную O(L). По сути, это позволяет модели вознаграждения читать «мысли» агента, а не ждать, пока он их озвучит, чтобы потом мучительно перечитывать стенограмму.
KV-PRM снижает вычислительные затраты с O(L²) до O(L), обрабатывая единственный токен верификации на основе уже существующего KV-кэша.
Этот сдвиг — не просто косметическая оптимизация, а фундаментальный прирост плотности информации. Авторы работы математически доказали, что KV-кэш содержит строго больше данных, чем текстовые токены, обеспечивая преимущество в емкости на уровне Ω(d/log|V|) на каждую позицию. Текст — это всегда схлопнутая версия богатого внутреннего состояния модели. В ходе тестов на бенчмарках MATH, GSM8K и AIME архитектура KV-PRM не только сравнялась с классическими методами, но и превзошла их в сценариях с использованием Beam Search и MCTS, потребляя при этом в разы меньше ресурсов.
Масштабирование без тормозов: Результаты и ограничения
Эмпирические данные фиксируют драматическое падение накладных расходов. Согласно отчету, KV-PRM обеспечивает снижение операционных затрат (FLOPs) в 5000 раз по сравнению с текстовыми аналогами. В переводе на язык инфраструктуры это означает сокращение задержки (latency) в 37 раз и уменьшение потребления памяти на 34 раза для каждой последовательности. Эти цифры фактически снимают вычислительный потолок для мультиагентных систем с длинным контекстом. Разработчики получают возможность внедрять сложные алгоритмы поиска в реальном времени там, где раньше мешала запредельная стоимость вычислений.
KV-PRM демонстрирует 5000-кратное снижение FLOPs и 37-кратное ускорение работы без потери качества ответов.
Несмотря на впечатляющие показатели, переход на KV-кэш накладывает жесткие инфраструктурные требования. Метод подразумевает тесную связь между агентом-генератором и моделью вознаграждения — они должны быть архитектурно совместимы. Это важный переход от внешних «текстовых» проверок к глубокой инженерной интеграции. Верификация становится бесшовным продолжением генерации, а не дорогостоящим внешним аудитом. В мире, где агентские системы должны работать автономно и долго, такой подход — единственный способ избежать экономического коллапса из-за квадратичного роста затрат на «раздумья» ИИ.
Для бизнеса это означает конец эпохи грубой силы в обработке текста. Мы наблюдаем переход к архитектурам, которые умеют эффективно обмениваться внутренними состояниями, а не просто перебрасываться строковыми данными. Тесная интеграция моделей требует пересмотра стека разработки, но 34-кратная экономия памяти — это аргумент, против которого у технических директоров вряд ли найдутся возражения.