Попытка перевести потоковую обработку визуального контента на универсальные мультимодальные трансформеры оборачивается для бизнеса резким ростом затрат на вычислительную инфраструктуру и потерей предсказуемой скорости. Индустрия активно стремится пересадить все задачи на большие нейросети, однако на высоких нагрузках эта стратегия сталкивается с жесткими аппаратными лимитами. Как отмечают инженеры команды «Платформа модерации» в RWB*, прямая замена классических компонентов на мультимодальные трансформеры упирается в память серверов и затягивает принятие решений по карточкам.
Каждый день через модерацию Wildberries проходит больше 35 млн карточек товаров, при этом через модель оптического распознавания текста ежедневно проходит около 400 млн изображений. На фотографии карточек товаров приходится больше 90% этого колоссального потока. В таких условиях даже незначительное удорожание инференса отдельного кадра создает системную угрозу для операционного бюджета компании. По оценкам аналитиков, обслуживание 400 млн изображений в сутки с помощью тяжелых универсальных моделей требует колоссальных аппаратных ресурсов. При средних рыночных затратах на обработку одного запроса тяжелой VLM, инфраструктура для такого объема обошлась бы бизнесу в сотни тысяч долларов ежемесячно только на аренду и амортизацию GPU-серверов. Инженерная ставка здесь предельно прагматична: бизнесу требуется удержать приемлемую стоимость решения и предсказуемую скорость, одновременно сохранив качество детекции на сложных мультиязычных изображениях. Точной открытой суммы прямой экономии от отказа от сквозных тяжелых сетей инженеры не приводят, но сам архитектурный барьер очевиден.
Инфраструктурный тупик универсальных сетей
Модели класса Vision-Language Models действительно качественно извлекают данные из картинок, но их развертывание на первичном потоке экономически нежизнеспособно. Например, модель Qwen3-VL может принимать изображение на вход и выдавать готовый текст, однако масштабировать ее на сотни миллионов запросов в сутки не позволяет аппаратная база.
«На нашем потоке такой вариант сразу упирается в память и скорость принятия решения».
Впрочем, VLM в инфраструктуре маркетплейса все же нашла применение, но не на первичном контуре, а исключительно в качестве инструмента валидации качества основного пайплайна. Инженеры запускают тяжелую модель параллельно на очень маленькой доле потока, где она помогает вычислять метрики и отлавливать редкие краевые случаи без перегрузки основного продакшена.
Границы сквозных архитектур
Естественным контраргументом против дробления системы на множество частей выступает идея использовать специализированную компактную архитектуру end-to-end OCR. На рынке есть решения вроде GLM-OCR, у которой меньше миллиарда параметров, что делает ее гораздо легче тяжелых трансформеров. Казалось бы, такой подход сокращает количество компонентов, избавляет от сложного сквозного взаимодействия и упрощает систему: картинка на входе, готовый текст на выходе.
Однако гладкая гипотеза разбивается о суровую практику эксплуатации в масштабах распределенного ритейла. Площадка работает уже больше чем в 10 странах, и их число растет, поэтому от системы требуется надежная поддержка локальных языков и различных письменностей. Когда монолитная end-to-end модель допускает ошибку на сложном визуальном контенте, локализовать и точечно исправить сбой без переобучения всей нейросети практически невозможно. Вместо одной монолитной структуры команда RWB* выстроила систему из семи последовательных этапов, расширив классическую схему детекции и распознавания предварительной сегментацией, выпрямлением текста, маршрутизацией по типам письменности и построением порядка чтения.
Экономика каждого из семи этапов этого пайплайна выстроена таким образом, чтобы минимизировать нагрузку на дорогие GPU. На первом этапе первичная фильтрация отсекает нерелевантные или пустые кадры с минимальными вычислительными затратами на легких CPU-алгоритмах. Второй этап производит грубую детекцию зон с текстом, используя компактные сверточные сети, требующие сотые доли секунды на один кадр. Третий этап отвечает за предварительную сегментацию сложных графических элементов, предотвращая передачу лишнего шума в блоки распознавания. На четвертом этапе задействуется блок выпрямления текста, который нормализует геометрию изогнутых и перспективно искаженных надписей на упаковках. Пятый этап осуществляет маршрутизацию по типам письменности, направляя фрагменты в узкоспециализированные легковесные модели под конкретные языки, что исключает избыточный расход памяти на универсальные мультимодальные веса. Шестой этап строит корректный порядок чтения символов в многоколоночных и хаотичных макетах карточек. Седьмой, финальный этап агрегирует результаты и проводит финальную валидацию текста. Такой покомпонентный подход позволяет оптимизировать утилизацию видеопамяти на каждом узле кластера, удерживая общие затраты на инфраструктуру в рамках операционного бюджета.
На бумаге концепция единой модели обещала полное избавление от инженерных наслоений и радикальное упрощение контура модерации. На практике же попытка запустить ее на 400 млн ежедневных изображений привела к дефициту серверной памяти, неконтролируемым задержкам и невозможности точечной отладки ошибок, оставив тяжелые универсальные трансформеры на роли вспомогательного инструмента для узких выборок.
На фоне других
Специализированная компактная сеть GLM-OCR вроде бы снимает вопрос веса со своими субмиллиардными параметрами, но в масштабах десяти стран не позволяет точечно править ошибки без долгого общего дообучения. Вместо единого монолита инженеры RWB* собрали конвейер из семи этапов, а тяжелую Qwen3-VL оставили исключительно для параллельной проверки качества на минимальной доле потока. При 400 млн изображений в сутки сквозная архитектура монолита обходится дороже цепочки из семи отдельных шагов.