Переход на открытые LLM часто напоминает классическую ловушку: вход бесплатный, но стоимость выхода из этого «медового месяца» может похоронить бюджет. В индустрии сложился опасный миф, что достаточно развернуть веса в своем контуре, и вы получите автономность за копейки. На деле иллюзия рассыпается, как только демонстрационный стенд сталкивается с реальной нагрузкой, а стандартные бенчмарки оказываются бесполезны для оценки стоимости владения (TCO).
Команда WB-Tech, сопровождающая открытые модели в промышленной эксплуатации, указывает на пропасть между «запуском» и «поддержкой». Компании бегут в локальный хостинг за безопасностью или в надежде на экономию при больших объемах. Однако реальная работа начинается там, где заканчивается маркетинг. Вместо развития продукта инженеры тонут в низкоуровневой настройке инференса, ручном управлении контекстом и сизифовом труде по обеспечению воспроизводимости ответов.
Инфраструктурная ловушка контроля
Типовой путь внедрения через Ollama быстро превращается в тупик. Это отличная обертка для экспериментов: команда pull, команда run — и готово. Но за этим фасадом скрыты настройки по умолчанию, которые при масштабировании работают как ручной тормоз. В WB-Tech выяснили, что удобство Ollama оплачивается потерей контроля над распределением слоев модели между VRAM и процессором. Когда бизнесу нужна эффективность, приходится возвращаться к «голому» llama.cpp.
Мы ушли не потому, что Ollama «недостаточно открыта». Причины оказались гораздо прозаичнее: контроль, воспроизводимость и безопасность.
Механика проста: Ollama выгружает на видеокарту целые слои, что для разреженных MoE-моделей означает простой дорогого железа. Переход на ручную сборку в llama.cpp позволяет выгружать тензоры точечно. На примере RTX 4060 это дает рост производительности с 16 до 45 токенов в секунду. Но за этот кратный рост вы платите временем дорогих инженеров, которые вручную подгоняют раскладку под память. Это и есть скрытый налог на открытость: вы либо кормите провайдера API, либо содержите штат «рукодельников», настраивающих код инференса под каждую железку.
Деградация в реальном времени
Вторая беда — имитация надежности. Пока промпт-инженеры верят заклинаниям «верни JSON», в продакшене система сыпется. Под нагрузкой открытые модели склонны к деградации структуры вывода, что мгновенно превращает агентные системы в груду бесполезного кода. Единственное лекарство здесь — использование жестких грамматик, вроде GBNF в llama.cpp, которые на уровне семплера бьют модель по рукам, запрещая выбирать токены вне заданной схемы.
Сегодняшняя автономия — это дорогое удовольствие для тех, кто готов выстраивать внутри компании глубокую техническую экспертизу. Пока вы играете в песочнице, модели кажутся доступными. Но в контуре обработки документов стоимость владения взлетает из-за инженерных издержек. Экономия на токенах внешних гигантов оборачивается раздутым ФОТ команды эксплуатации. В сухом остатке вместо зависимости от чужих серверов бизнес получает полную независимость и огромный счет за оборудование, которое нужно заставлять работать в режиме 24/7.