Стандартные архитектуры Mixture-of-Experts (MoE) на мобильном железе и edge-устройствах ведут себя как капризный клиент в ресторане: постоянно меняют предпочтения, заставляя систему метаться. Теоретически MoE экономят ресурсы, активируя лишь малую часть параметров, но на практике роутер переключает экспертов едва ли не на каждом токене. Как отмечает Али Кайям из BrainChip Inc., такая чехарда вызывает лавинообразную подгрузку весов из медленного хранилища в оперативную память. В итоге задержки на устройствах с ограниченным объемом VRAM или SRAM становятся настолько велики, что «легкие» MoE-модели работают медленнее своих полновесных (dense) аналогов.
Решение проблемы оказалось элегантным и чисто математическим. Кайям предложил метод StickyMoE, который внедряет дифференцируемую функцию потерь (consistency loss) еще на этапе обучения. По сути, модель начинают штрафовать за резкую смену «генеральной линии» роутера между соседними токенами. Это заставляет систему сохранять одного и того же эксперта активным для целых семантически связных блоков. Самое приятное здесь для инженеров — отсутствие необходимости ломать архитектуру: добавляется лишь один гиперпараметр λ, позволяющий роутеру и репрезентациям экспертов адаптироваться друг к другу с самого первого шага предварительного обучения.
«Липкий» роутинг позволяет обойти аппаратное «бутылочное горлышко», которое раньше душило производительность локальных LLM.
Цифры подтверждают, что принудительная «лояльность» экспертам идет на пользу не только железу, но и качеству. Основные показатели эффективности метода:
Снижение частоты переключения экспертов до 59%. Улучшение показателей перплексии на моделях среднего размера. Сокращение количества промахов кэша (cache misses) до 3,92 раза. Стабильная работа в условиях ограниченной пропускной способности PCIe и NVMe.
StickyMoE наглядно доказывает: аппаратные ограничения edge-устройств — это проблема не только системных администраторов, но и математиков. Если вы проектируете локальные решения или софт для смартфонов, переход к «липкому» роутингу становится единственным способом заставить тяжелые модели работать на железе, лишенном роскоши в виде терабайтов видеопамяти. Оптимизация на этапе обучения избавляет от необходимости использовать сомнительные методы вроде реактивного кэширования или бесконечного тюнинга после выпуска.