Способны ли разработчики беспилотного транспорта сократить бюджеты на натурные испытания автопарков за счет физических симуляторов с открытыми весами? Релиз четырех новых чекпоинтов семейства Cosmos 3 от Nvidia наглядно показывает: экономия на физических тестах напрямую конвертируется в затраты на корпоративные вычислительные кластеры. Все четыре модели представляют собой дообученные варианты Cosmos 3 Nano с 16 млрд обучаемых параметров каждая и спроектированы для генерации интерактивных симуляций физического мира и мультисенсорных дорожных сценариев.
Вслед за выпуском Alpamayo 2 Super — модели автономности четвертого уровня (Level 4) на 32 млрд параметров, выступающей в роли учителя для обработки видеопотоков с нескольких камер, — Nvidia предоставила разработчикам генеративные физические симуляторы напрямую. Все четыре модели распространяются по лицензии OpenMDW1.1, допускающей коммерческое и некоммерческое использование без согласования отдельных корпоративных контрактов. Это смещает фокус конкуренции с дорогостоящего сбора реальных данных с датчиков на операционную стоимость локального инференса.
Конвейеры синтетических данных
Чекпоинт Cosmos3-Nano-Transfer-Auto функционирует как двунаправленная модель для офлайн-генерации синтетических данных вождения. Она синхронно создает видеопоток максимум для 11 ракурсов камер, включая объективы типа рыбий глаз, параллельно формируя согласованные данные RGB и LiDAR. Воссоздавая многоракурсные дорожные сцены при различных погодных условиях, освещении и времени суток, модель закрывает потребность в затратных циклах полевых выездов для фиксации редких граничных ситуаций (edge cases).
«Предстоящая задача — определить, насколько надежно модели поддерживают обучение и оценку политик управления, выявить их пределы и устранить слабые места».
Как подчеркнули в Nvidia относительно ограничений внедрения, исследователям еще предстоит зафиксировать границы, в которых эти синтетические наблюдения применимы для обучения реальных контуров управления. Каузальный вариант Cosmos3-Nano-Sim-Auto выступает дистиллированным потоковым аналогом версии Transfer-Auto. Он генерирует последовательные короткие фрагменты синхронизированного видео с камер и данных LiDAR с минимальным числом шагов шумоподавления, что позволяет взаимодействовать с симулируемыми алгоритмами в замкнутом контуре управления (closed-loop).
Робототехнические манипуляции и управление симуляцией
Помимо беспилотного транспорта, релиз ориентирован на среды выполнения для робототехники. Cosmos3-Nano-Sim-Transfer преобразует управляющие команды симулятора и текстовые промпты в фотореалистичное видео, обеспечивая цветовые наблюдения для алгоритмов управления, в то время как расчет физики остается на стороне симулятора. В свою очередь, Cosmos3-Nano-Sim-Bimanual прогнозирует видеоряд на основе действий робота или перемещений камеры, симулируя изменения окружения в ответ на двуручные манипуляции робота.
Команды, внедряющие Cosmos 3, заменяют расходы на содержание тестового автопарка закупкой серверного оборудования для локального инференса. Открытые веса снижают стартовые затраты на лицензирование синтетических данных, однако развертывание в продакшене зависит от того, сохранят ли дистиллированные 16-миллиардные чекпоинты точность симуляции в реальном времени. В итоге бюджеты на автономные системы перераспределяются напрямую в масштабирование инфраструктуры, необходимой для обработки непрерывных мультисенсорных потоков.
Как менялась картина
Снижение затрат на содержание тестовых автопарков оборачивается для компаний новыми счетами за серверные стойки с чипами после выхода четырех открытых моделей Cosmos 3 Nano. Если на конференции GTC 2025 модель Cosmos Transfer решала нехватку данных на скромных 7 млрд параметров, то теперь каждый новый чекпоинт требует прокачивать уже по 16 млрд весов ради синхронной генерации потоков видео и данных LiDAR. Впрочем, этот перенос расходов на инфраструктуру не снимает главный практический риск. Перенос тестов с реальных полигонов в виртуальные среды лишь меняет статью расходов на топливо и водителей на аренду вычислительных мощностей, пока границы применимости синтетики в реальном мире остаются неразмеченными.
Наши материалы: NVIDIA Cosmos 3: ИИ-модели для физического мира (1 июня); NVIDIA Cosmos и GR00T: Новая эра гуманоидных роботов и ИИ (26 июня).