Главным барьером для внедрения воплощенного ИИ всегда была не вычислительная мощность моделей, а жесткая экономика сбора физических данных. Попытки обучать роботов через ручное телеуправление и метод проб и ошибок приводят к износу оборудования, раздувают капитальные затраты и не позволяют масштабировать разработку с нужной для коммерциализации скоростью. Видеоданные из интернета, при всем их объеме, не дают интерактивной обратной связи по динамике трения и физическим сбоям. Стартап World Labs под руководством Фэй-Фэй Ли рассчитывает обойти этот барьер с помощью пайплайна Real-to-Sim-to-Real (R2S2R).
Технологической основой R2S2R стали наработки купленного в июле стартапа SceniX. Движок оцифровывает единственную физическую демонстрацию, фиксируя кинематику робота, показания датчиков и геометрию пространства, после чего превращает ее в интерактивную параметрическую симуляцию. Вместо недель изнурительных тестов на реальном железе система процедурно генерирует из одного примера тысячи параллельных синтетических сценариев.
Движок создает тысячи вариаций, меняя освещение, положение и количество объектов, окружение, физические свойства вроде трения, а также ракурсы камер.
Чтобы симуляция не превращалась в оторванный от реальности рендеринг, World Labs проводит параллельную валидацию действий в виртуальной и физической средах, оценивая визуальный трекинг, динамику объектов и процент успешного выполнения задач. Набор тестов включает манипуляции с деформируемыми и составными объектами: от точной прокладки кабелей и подключения эластичных разъемов до совместной работы двух манипуляторов при упаковке.
Нулевой перенос на железо и оценка моделей
Главный результат такого подхода — полноценное развертывание на физических устройствах без дообучения на месте (zero-shot). Алгоритмы управления, обученные исключительно внутри R2S2R, переносятся на реальных роботов без многочасовой калибровки. World Labs подтвердила работоспособность моделей на пяти различных аппаратных платформах, включая открытую двурукую систему ALOHA от Стэнфорда: роботы непрерывно выполняли задачи в течение часа без вмешательства человека. Среди протестированных сценариев — сматывание кабелей питания двумя руками, расстановка пробирок в лаборатории и извлечение отдельных пишущих принадлежностей из общей кучи.
Кроме того, R2S2R служит автоматизированным стендом для предварительного тестирования чекпоинтов моделей перед запуском на реальном оборудовании. Хотя вопрос об устойчивости процедурных симуляций в условиях полного хаоса реального мира остается открытым, замена физического износа генеративными вычислениями напрямую сокращает капитальные расходы и ускоряет вывод промышленных и сервисных роботов на рынок.