Использование генеративных больших языковых моделей для рутинной маршрутизации запросов вынуждало корпоративные бюджеты оплачивать паразитные выходные токены. На прошлой неделе Google представила Gemini Decision 1 и сопутствующий Gemini Decisions API, чтобы переломить эту структуру затрат. Архитектура Decision 1 обрабатывает текст, изображения, видео, аудио и PDF-файлы за один прямой проход (forward pass), возвращая вероятности вместо текста. Типичный текстовый запрос обходится примерно в $0,000017 за вызов — около 58 000 операций на один доллар, тогда как классические агентные сценарии списывают плату за генерацию токенов на каждом шаге классификации.
Любой стек ИИ-агентов опирается на промежуточные вызовы для выбора уровня модели, запуска внешних инструментов или проверки политик безопасности. Зачастую команды разработчиков пропускают эти задачи через полноразмерные генеративные модели лишь для того, чтобы распарсить и тут же отбросить сгенерированные JSON-строки. Реальный объем экономии от отказа от генерации текста в стандартных задачах зависит от готовности бизнеса заменить универсальные рассуждающие модели специализированными скоринговыми уровнями. Узкопрофильные классификаторы вытесняют универсальные LLM из инфраструктуры автономных агентов, напрямую меняя юнит-экономику бэкенд-автоматизации.
Экономика инференса с нулевой генерацией
Экономическая модель Gemini Decisions API строится на тарификации входящего контекста при полном обнулении расходов на выходные данные. Google установила цену на Gemini Decision 1 на уровне $0,10 за миллион входных токенов без взимания платы за выход, а бесплатный уровень в Google AI Studio позволяет закрыть этап прототипирования.
Вся суть предложения — в ценообразовании. Вы платите $0,10 за миллион входных токенов, общий контекст тарифицируется единожды независимо от числа вопросов, а генерация не стоит ничего, поскольку текста на выходе нет.
Gemini Decision 1 поддерживает входной контекст объемом до 262 144 токенов на запрос, что позволяет проводить оценку масштабных массивов данных без нарастающих счетов за генерацию. К единому входящему контексту API способен принять до 1 000 независимых закрытых вопросов, возвращая структурированные вероятности формата «да/нет», выбор из 2–255 вариантов или баллы по заданной шкале. При этом Gemini Decision 1 лишена поддержки генерации текста, цепочек рассуждений (thinking), вызова функций (function calling), структурированного вывода, пакетной обработки (batch processing) и кэширования.
Маршрутизация в проде и бенчмарки
Google уже внедрила Decisions API во внутренние сервисы для сокращения накладных расходов. Как заявили в компании, Gemini Notebook применяет Decisions API для маршрутизации каждого запроса к определенному уровню модели и глубине рассуждений, сокращая задержку на повседневных задачах вплоть до 40%. Поисковый гигант также использует этот инструмент в прототипе Stitch для генерации интерактивных макетов интерфейсов и обработки голосовых команд, а сервис CC от Google Labs выбирает с помощью API подходящие реакции-эмодзи из более чем 200 вариантов без видимой задержки. В Google Search инженеры развернули модель в качестве шлюза безопасности, проверяющего инструменты Model Context Protocol на предмет вредоносного поведения.
Внедрение подобных пайплайнов классификации требует жесткой оценки задержек провайдера. Google заявляет сквозную задержку (end-to-end latency) для Gemini Decision 1 в диапазоне от 150 до 250 мс. Корпоративные балансы зависят от себестоимости вызова на каждую модальность, поэтому инженерным командам предстоит сопоставить нативную экономику маршрутизации от Google с расходами на собственные дообученные классификаторы. Запрос с анализом изображения обходится примерно в $0,00013 за вызов против $0,000017 за чистый текст.
В чём смысл
Счета за агентские цепочки наконец-то перестанут раздуваться из-за пустых ответов: Gemini Decision 1 убирает плату за вывод и берет десять центов лишь за миллион входных токенов. Раньше разработчикам приходилось сжигать бюджет на генерацию громоздких JSON-ответов ради простого бинарного выбора или проверки политик безопасности. Теперь архитектура отсекает лишний текст и возвращает чистые вероятности за один прямой проход через модель. Сможет ли бизнес отказаться от гибкости цепочек рассуждений и вызова функций ради копеечной маршрутизации запросов внутри сложных контуров?