Флагманские языковые модели остаются крайне дорогими, и по мере того как автономные агенты массово внедряются в корпоративные рабочие процессы, эта структурная проблема грозит затормозить их распространение еще до выхода на зрелый рынок. По нашему мнению, обрабатывать каждую автоматизированную задачу с максимальным уровнем вычислительного интеллекта — это роскошь, которую операционная маржа просто не выдерживает. Как прямо отметила Anthropic в своих руководствах по развертыванию, начало работы с более быстрой и экономичной моделью вроде Claude Haiku 4.5 часто оказывается оптимальным подходом для рутинных корпоративных задач, поскольку компании неизбежно сталкиваются с убывающей отдачей, когда более тяжелая модель дает ничтожный прирост качества, в то время как расходы на вычисления и задержки взлетают.
LangChain столкнулась ровно с этой стеной, когда их ежемесячные расходы на внутренние агенты для написания кода начали расти с неустойчивой скоростью. Услышав аналогичные тревожные сигналы от корпоративных клиентов, команда приступила к разработке функционального маршрутизатора моделей для Open SWE, своего открытого агента для работы с кодом. Чтобы проанализировать базовый набор задач, LangChain извлекла телеметрию на уровне потоков из трейсов LangSmith, изучив типы входящих запросов, стоимость выполнения и количество шагов в качестве грубых показателей сложности рабочей нагрузки. Согласно данным, в конвейере Open SWE доминировали изменения кода: на разработку функционала приходилось 22 процента, а на исправление ошибок — 17 процентов от общего объема, за которыми следовали тесты или пустые запуски с показателем 16 процентов.
Сложность задач и архитектура маршрутизации
Анализ данных выявил четкие операционные профили для различных рабочих нагрузок. Потоки, связанные с исследованием функций, неизменно требовали больших временных затрат, более высоких расходов и повышенного среднего количества шагов. Напротив, потоки, относящиеся к рутинному тестированию и процедурам релиза, оказались на редкость короткими и дешевыми. Тем не менее на начальном этапе сбора данных каждый отдельный поток Open SWE прогонялся через топовую флагманскую модель — вопиющая финансовая утечка для операций низкой сложности, которые вовсе в этом не нуждались.
Чтобы добиться реальной эффективности, эффективный маршрутизатор моделей должен находиться внутри рабочей обвязки, а не простаивать за универсальным шлюзом API. Выбор подходящей модели требует контекста задачи и предметной области, который среда выполнения собирает самостоятельно и которого обычно нет у внешнего шлюза. LangChain выбрала три различные модели по кривой возможностей для Open SWE, запрограммировав маршрутизатор срабатывать на первое сообщение человека в потоке, чтобы оценить первоначальное намерение и задействовать соответствующий вычислительный уровень.
Финансовое влияние маршрутизации в обвязке
По сравнению с прежним подходом LangChain по умолчанию использовать топовую флагманскую модель для каждой операции, внедрение маршрутизации моделей внутри обвязки сократило медианные затраты на одну задачу программирования на 64 процента без какого-либо заметного снижения качества выполнения. Этот архитектурный поворот демонстрирует, что динамическое распределение нагрузки между флагманскими и легковесными моделями сохраняет жесткие стандарты выполнения задач при одновременном оздоровлении юнит-экономики.
Статичное развертывание флагманских моделей для разнородных рабочих нагрузок представляет собой не более чем дорогостоящую корпоративную привычку, которая сжигает капитал на банальных операциях. Компании, которые не внедрят контекстно-зависимую маршрутизацию, продолжат субсидировать рутинные фоновые задачи с помощью передовых вычислений, наблюдая за тем, как их бюджеты на ИИ испаряются в реальном времени.