Четыре карты Tesla V100 SXM2 по 16 ГБ дают в сумме 64 ГБ видеопамяти прямо в серверной стойке компании. У инженеров есть эти четыре графических процессора, и на них в промышленной эксплуатации работает плотная модель Qwen3.8-27B с контекстным окном на 262 тысячи токенов. При этом официальный движок vLLM на таком оборудовании 4-битную модель даже не запускает. Причина проста: V100 построена на архитектуре Volta с уровнем вычислительных возможностей compute capability 7.0, также известным как SM70. Заводской стек требует более современные чипы, выдает ошибку о минимальном требовании в capability 75 и отказывается стартовать. Доставить новые ускорители в Беларусь сегодня сложно и дорого, поэтому бизнес делает ставку на полную выработку ресурса имеющихся вычислителей.
Архивные графические чипы Volta принудительно возвращаются в строй силами сторонних форков vLLM, обходя жесткие аппаратные ограничения вендоров. Для решения задачи развернут 1Cat-vLLM — форк vLLM под свободной лицензией Apache-2.0, оптимизированный под SM70. На физическом уровне чипы Volta полностью лишены аппаратной поддержки формата чисел bfloat16, в котором выпускается большинство актуальных нейросетей, лишены восьмибитного формата FP8 для весов и кеша контекста, а также не содержат штатных 4-битных вычислительных ядер в официальном софте. Альтернативный стек закрывает эти пробелы собственными решениями.
Инженерные подпорки против софтверных блокировок
Модель zubr в сервисе ZuBrIQ — единственная в инфраструктуре компании, запросы к которой не покидают пределы Беларуси. Документы, промпты и ответы строго замкнуты внутри контура. За основу взяли модель cyankiwi/Qwen3.8-27B-AWQ-INT4 — это плотная нейросеть на 27 млрд параметров с гибридным вниманием, сочетающим линейное и полное внимание в пропорции 3:1, и мультимодальными возможностями. В четырехбитном квантовании INT4 веса модели занимают около 21 ГБ, распределяясь примерно по 5,3 ГБ на каждый ускоритель при параллелизме тензоров на четыре устройства.
Техническая сборка выполнена на версии 1Cat-vLLM 1.2.1 под управлением Python 3.12 и системного драйвера 580. Контейнеризация построена в среде LXC на платформе Proxmox с прямым пробросом четырех вычислителей, а сам движок запускается нативно сервисом systemd без накладных расходов Docker.
В форке есть 4-битные ядра для архитектуры Volta — Marlin и TurboMind, бэкенд внимания FLASH_ATTN_V100 и поддержка CUDA Graph.
Без ручного патчинга метаданных система отказывается работать еще на стадии запуска CLI-утилит. Квантование здесь выполнено в формате compressed-tensors W4A16. На кристаллах SM70 обработка идет через ядра TurboMind, но системный флаг по умолчанию отключен, из-за чего среда требует capability 75. Только принудительная активация переменной окружения VLLM_SM70_COMPRESSED_TENSORS_TURBOMIND=1 и явное указание типа данных float16 взамен недоступного bfloat16 позволяют завершить инициализацию. При этом холодный старт с полной компиляцией и захватом графов CUDA занимает 4–5 минут.
Скрытые утечки и бюджет контекстной памяти
Как распределяется память, если штатный софт не способен адекватно оценить аппаратную платформу?
Встроенный загрузчик форка для архитектуры SM70 сообщает размер весов практически нулем, из-за чего они попросту не вычитаются движком из доступного бюджета под кеш ключей и значений.
Для окна в 262 144 токена требуется около 4,4 ГиБ, поэтому под кеш контекста выделили 4,6 ГБ, что дает емкость около 268 тысяч токенов с небольшим запасом.
Инженерам пришлось отказаться от автоматического управления и зафиксировать размер буфера через явный параметр в байтах. Ранее инфраструктура уже претерпевала изменения: до сентября рядом функционировала модель компьютерного зрения Qwen3-VL-4B.
Сколько стоит поддержка костылей на старом железе по сравнению с арендой новых карт? Точный ответ зависит от стоимости рабочего времени квалифицированных специалистов, ведь постоянный ручной мониторинг форков, правка скриптов и отладка утечек памяти требуют постоянных инженерных затрат. Отказ от капитальных вложений в закупку дефицитных ускорителей позволяет утилизировать наличные вычислители без прямых затрат, однако несет риски сбоев из-за хрупкости софтверных костылей. Долгосрочная эксплуатация неподдерживаемых вендором архитектур в коммерческом контуре остается компромиссом между жесткими регуляторными рамками и неизбежным ростом операционных расходов на поддержание нестандартного стека.
Что это значит
Локальная изоляция данных обходится бизнесу ручной переборкой софта из-за запуска Qwen3.8-27B на четырех ускорителях Tesla V100. Заводской vLLM на чипах Volta с уровнем SM70 просто отказывается стартовать, заставляя инженеров держать сервис на стороннем форке 1Cat-vLLM с ядрами TurboMind. Чтобы система физически заработала, команде приходится вручную подменять типы данных на float16 и жестко прописывать размер буфера памяти в байтах. Архитектурная привязка к устаревшему железу превращает эксплуатацию модели в непрерывную борьбу с собственным софтверным стеком.