Традиционная многоступенчатая воронка поиска, в которой товары годами мучительно протаскивали через фильтры отбора (recall), грубое и точное ранжирование, окончательно признана архитектурным тупиком. Инженеры Taobao и Tmall Group (Alibaba) во главе с Цзяньбо Чжу пришли к выводу, что для современного e-commerce классический пайплайн слишком фрагментирован. В своем последнем исследовании команда описывает переход к генеративному поиску, который объединяет все этапы в единую сквозную (end-to-end) нейросетевую модель.
Вместо того чтобы выискивать уникальные идентификаторы для миллионов товарных позиций (SKU), архитектура CQ-SID (Category-and-Query constrained Semantic ID) кодирует товары в иерархические семантические кластеры с помощью метода RQ-VAE. По сути, поиск превращается в задачу машинного перевода: запрос на естественном языке напрямую конвертируется в структурированный ID кластера.
Техническая реализация на таких масштабах — это прежде всего борьба с галлюцинациями. Как поясняет Цзин Ван и его группа, для этого была внедрена четырехэтапная стратегия прогрессивного обучения: от простого сопоставления «товар-ID» до персонализированного уточнения связи «пользователь-запрос-SID». Чтобы удержать модель в рамках бизнес-логики, в Alibaba разработали метод EG-GRPO (Expert-Guided Group Relative Policy Optimization). Это обучение с подкреплением стабилизирует процесс за счет включения эталонных выборок (ground-truth) в градиентные группы. Такой подход предотвращает типичный для стандартной оптимизации «коллапс кликов и показов», заставляя генератор предлагать не просто популярный информационный шум, а именно те позиции, которые конкретный пользователь с высокой вероятностью купит.
Экономика инфраструктуры Taobao уже ощутила выгоду: за счет оптимизации ширины лучевого поиска (beam search) удалось радикально снизить задержки и вычислительные затраты без потери качества выдачи. Это не просто «косметический ремонт» поиска, а доказательство жизнеспособности генеративного подхода в высоконагруженных средах. Раньше подобные модели спотыкались о масштабируемость и постоянно обновляющиеся каталоги, но подход с семантической кластеризацией успешно закрывает разрыв между академическими выкладками и суровой реальностью промышленного e-commerce.
Alibaba фактически превратила поисковый движок из пассивного фильтра в предиктивный генератор. Будущее отрасли теперь официально за семантическими кластерами, а не за жесткими обращениями к базе данных. Очевидно, что эта архитектура станет эталоном для любых платформ с миллионами ежедневных обновлений ассортимента — при условии, что у их инженеров хватит компетенций внедрить Reinforcement Learning для «заземления» генератора в реальности продаж.