Роботы на городских улицах уже никого не удивляют, но стоит загнать их на обычную кухню или в цех с нестандартной планировкой, как «умное» железо превращается в тыкву. Главный затык — катастрофический дефицит качественных данных. Пытаться обучить машину всем нюансам реальности, физически перетаскивая её из одной локации в другую — это экономическое самоубийство и временная дыра. Как отмечает Расс Тедрейк, профессор Toyota в MIT и ведущий исследователь CSAIL, даже при продвинутых физических движках индустрия буксует: мы не успеваем наполнять симуляции тем хаосом и «грязью», из которых состоит реальный мир.
Архитектура SceneSmith: три агента против дефицита данных
Чтобы разомкнуть этот круг, команда MIT CSAIL и Исследовательского института Toyota (TRI) представила SceneSmith — систему, где AI-агенты работают архитекторами 3D-сред. Вместо того чтобы вручную расставлять каждый стул в виртуальном отеле, инженеры делегируют это связке из трех агентов под управлением современных Vision-Language Models (VLM). Процесс выглядит как замкнутый цикл: агент-дизайнер набрасывает элементы сцены, агент-критик разносит реализм планировки в пух и прах, а оркестратор модерирует этот спор, пока результат не станет пригоден для загрузки в физический симулятор без участия человека.
«Система проектирует 3D-сцены так же, как это делал бы человек-дизайнер», — поясняет аспирант MIT Николас Пфафф. Весь фокус в использовании колоссальных объемов знаний, зашитых в VLM: модель импровизирует с компоновкой объектов, опираясь на логику реального мира, которой её никто специально не обучал.
От ручного сбора данных к фабрикам синтетического опыта
В ходе тестов MIT сгенерировали более 1300 детальных сцен — от заваленных шинами гаражей до ресторанов. Для робототехники это переход от кустарного производства обучающих выборок к полноценной фабрике синтетического опыта. Такой подход эффективно «сшивает» Sim-to-Real gap: разнообразие виртуальных миров настолько велико, что при переносе в «железо» робот не впадает в ступор от вида незнакомого верстака.
Технический аудит, впрочем, заставляет сохранять скепсис: точность физического взаимодействия всё ещё ограничена возможностями базового движка, а AI-агенты могут «галлюцинировать» в планировках, если их не контролировать. Тем не менее, перед нами смена парадигмы. Основные расходы в робототехнике окончательно смещаются с производства самого железа на оркестрацию высокоточных симуляций. Победа в гонке за универсального робота достанется не тому, кто построит лучшие манипуляторы, а тому, кто создаст агентов, способных за секунды симулировать бесконечную вариативность реальности для их обучения.