Современный технический директор зажат в тиски между безупречным «рассуждением» (reasoning) облачных моделей и суверенитетом локальных систем. Шэн-Вэй Пэн и исследовательская группа PEGA-VERSE из корпорации Pegatron решили проверить, насколько реальна экономия при отказе от API. В ходе лонгитюдного исследования они два месяца препарировали разработку AI-платформы: первый цикл (Период А) прошел на связке Claude Code и Claude Opus 3.5/3.7 через API, второй (Период Б) — на локальном Opencode (GLM-4), квантованном до NVFP4 на чипах NVIDIA Blackwell. Результаты отрезвляют: «бесплатный» локальный инференс — это миф, который разбивается о стоимость владения (TCO) и деградацию качества кода.
Инверсия кеширования промптов
Финансовый аудит начался с неприятного для фанатов локального «железа» сюрприза. Выяснилось, что при правильной настройке кеширования промптов (доля попаданий составила впечатляющие 99,3%) стоимость использования API Claude Opus падает на 88,6%. В итоге эффективная цена составила всего $0,57 за миллион токенов. По расчетам Pegatron, это заметно дешевле, чем амортизированная стоимость сегмента общих ресурсов на NVIDIA Blackwell, которая обходится в $2,83 за тот же объем. На повторяющихся задачах облако внезапно оказывается выгоднее серверной стойки в соседней комнате.
Кеширование промптов снижает реальную стоимость API на 88,6% — до $0,57 за миллион токенов, что в пять раз дешевле амортизации локального GPU-кластера.
Как отмечают исследователи, единственный адекватный показатель здесь — итоговая совокупная стоимость владения (TCO), поскольку удельная стоимость локального токена напрямую зависит от загрузки оборудования. В модели с разделяемыми GPU-ресурсами (shared allocation) локальный запуск сэкономил Pegatron 40,1%. Однако, как только инфраструктура перешла в режим выделенных мощностей (dedicated reservation), локальная установка стала на 43,8% дороже облачного API с кешированием. Для архитектора это означает хождение по лезвию: нужно либо обеспечивать стопроцентную утилизацию кластера, либо признать, что облако эффективнее гасит пиковые нагрузки агентов.
Деградация логики и спираль дефектов
Перенос вычислений внутри компании — это не только расходы на электричество и амортизацию, но и ощутимый «налог на логику». Анализ истории Git в Pegatron показал, что локальная связка GLM выдает коэффициент исправлений (Fix Commit Ratio, FCR) на уровне 74,9%. Для сравнения: у Claude Opus этот показатель составил 45,9%. Почти три четверти коммитов локального агента — это попытки починить то, что он сломал в предыдущей итерации. Согласно отношению шансов Мантеля — Хензеля (3,61), вероятность того, что коммит окажется исправлением ошибки, была в 2,6–4,9 раза выше на всех уровнях сложности задач.
Настоящее наказание за локальность — не деньги, а износ разработчика: таймстампы фиксируют, как человек вязнет в отладке бесконечных галлюцинаций модели.
Эта «спираль отладки» убивает продуктивность. Хотя обе конфигурации выдавали схожий объем сырого кода, низкое качество логики локального агента заставляло разработчика тратить время на бесконечный надзор. С точки зрения бизнеса, экономия 40% на инфраструктуре полностью съедается стоимостью работы высококвалифицированного инженера, который превращается в няньку для слабого ИИ. Кейс Pegatron — это сигнал: пока локальные модели не догонят передовые решения по качеству рассуждений, их внедрение в промышленную разработку остается сомнительной авантюрой. Оптимальным путем выглядит гибридная маршрутизация, где дешевый локальный инференс забирает рутину, а критическая логика уходит в облако.