Энергетический кризис в дата-центрах перестал быть абстрактным спором о возможностях электросетей — сегодня это главный барьер для масштабирования гиперскейлеров и инфраструктуры искусственного интеллекта. Импульсные нейронные сети (SNN), передающие информацию редкими спайками, а не непрерывными значениями, давно обещали экстремально низкое энергопотребление по образцу человеческого мозга. Однако на практике бизнес обходил их стороной: импульсные модели систематически уступали в точности классическим глубоким нейросетям (DNN).
Похоже, этот технологический компромисс уходит в прошлое. Исследовательская группа под руководством Сонсика Пака из Корейского института науки и технологий (KIST) представила A²SG (Adaptive and Asymmetric Surrogate Gradient) — метод оптимизации, позволяющий трансформерным SNN сравняться по качеству работы с традиционными архитектурами. Согласно препринту исследователей, опубликованному на arXiv, алгоритм использует бионическую асимметричную настройку градиентов. Это позволило добиться рекордной для импульсных сетей точности на бенчмарке ImageNet, сократив вычислительные затраты на обучение примерно в шесть раз по сравнению с базовым решением Google.
Для архитекторов инфраструктуры и инвесторов в железо принципиально то, что A²SG — чисто программное решение, не требующее кастомных экзотических чипов. Устранение разрыва в точности открывает путь к разгрузке дата-центров, снижению совокупной стоимости владения (TCO) и запуску по-настоящему автономного локального ИИ на носимых устройствах, в робототехнике и периферийных системах, которые больше не привязаны к гигаваттным сетям.