Интерактивные модели мира долгое время оставались привязаны к корпоративным облачным кластерам, что делало их недоступными для независимых исследователей и усложняло разработку робототехники в реальном времени. В техническом отчете лаборатории AMAP CV Lab группа Alibaba бросает вызов этим вычислительным затратам с помощью ABot-World-0 — генеративного симулятора с обратной связью по действиям, способного обеспечивать интерактивное взаимодействие с замкнутым контуром управления в разрешении 720p при 16 FPS на одной потребительской видеокарте NVIDIA RTX 5090. Стек обеспечивает задержку до первого кадра в 1,2 секунды и потребляет не более 19 ГБ видеопамяти.
Генерация интерактивных сред в реальном времени требует решения задачи непрерывного контура управления, а не просто отрисовки изолированных видеороликов. Как подчеркивает команда AMAP CV Lab, воплощенный интеллект (embodied AI) и пространственные агенты нуждаются в непрерывной эволюции состояния под управлением пользователя. ABot-World-0 устраняет этот разрыв, объединяя легковесные диффузионные трансформеры (DiT) с конвейером потокового инференса, оптимизированным для локального оборудования.
Архитектура LongForcing и дистилляция ОДУ
Фундаментальным препятствием при бесконечных генеративных прогонах является авторегрессионный дрейф: небольшие сдвиги в распределении накапливаются кадр за кадром, пока сцена не деградирует в визуальный шум. Чтобы обеспечить стабильность при длительном взаимодействии, исследователи создали прогрессивный конвейер обучения, который переносит динамические представления из двунаправленной модели-учителя в причинно-следственную (каузальную) архитектуру-ученика.
«Мы последовательно дистиллируем двунаправленную модель-учителя с управлением действиями в каузальную модель-ученика с помощью teacher forcing и дистилляции ОДУ (обыкновенных дифференциальных уравнений). Мы также внедряем метод LongForcing для согласования длительных самостоятельных прогонов ученика с расширенным горизонтом учителя, что снижает накопленный сдвиг распределения и авторегрессионный дрейф».
Прогрессивная дистилляция ОДУ устраняет накладные расходы на итеративное сэмплирование, характерные для стандартных диффузионных архитектур. В сочетании с LongForcing нейросеть-ученик компенсирует собственный дрейф траектории во время непрерывной навигации. Движок напрямую транслирует команды с клавиатуры в пространственные перемещения и управление камерой от третьего лица, а явный модуль памяти референсного персонажа сохраняет консистентность объекта на протяжении длительных сессий.
Мультимодальная инфраструктура данных и стек инференса
Высокоточное динамическое моделирование опирается на структурированную телеметрию «действие — наблюдение». AMAP CV Lab разработала агентный движок данных WorldExplorer для сбора и фильтрации мультимодальных траекторий из видеоигр класса AAA, симуляторов и публичных видеомассивов. Конвейер обработки фильтрует входящие потоки с помощью 14 детерминированных эвристик качества в сочетании с верификацией через VLM и синхронизированной разметкой действий.
Перенос такой архитектуры на потребительский десктоп потребовал агрессивной системной оптимизации. Стек развертывания сочетает компактный VAE-декодер с низкобитным инференсом DiT, кастомными ядрами механизма внимания и планировщиком выполнения, учитывающим лимиты памяти. На бенчмарке WorldRoamBench движок поддерживает целостную эволюцию сцены без передачи вычислений на удаленную серверную инфраструктуру.
Десктопное развертывание и воплощенный ИИ
ABot-World-0 доказывает, что интерактивное моделирование мира больше не требует обязательного наличия корпоративных серверных кластеров. Для разработчиков робототехники и автономных агентов запуск отзывчивых генеративных тестовых полигонов на потребительском кремнии резко снижает барьер для создания синтетических сред. Тем не менее сжатие архитектур DiT в квантованные среды исполнения для ПК порождает вопросы о точности физики в нестандартных ситуациях и генерализации вне обучающей выборки. Главной проверкой станет то, смогут ли дистиллированные каузальные модели сравниться по достоверности жесткой физики с классическими механическими симуляторами.