Vision-language модели (VLM) давно стали интеллектуальным хребтом для воплощенных агентов, позволяя роботам интерпретировать визуальные сцены и строить многошаговые планы. Однако между способностью робота выполнить задачу и его способностью не разнести при этом половину кухни зияет пропасть. Как справедливо отмечает Хуайган Ян и его коллеги, текущие методы оценки безопасности безнадежно статичны. Они проверяют, откажется ли агент выполнять заведомо опасную команду или достигнет ли он финальной точки. Это полностью игнорирует процессуальную безопасность (process-level safety), когда действие, само по себе безобидное, превращается в катастрофу из-за специфической конфигурации пространства.
Ловушка статического распознавания сцен Традиционные бенчмарки превратили безопасность в упражнение по расстановке тегов, но в реальном доме безопасность — это процедурный и реляционный процесс. VLM-агент может безошибочно идентифицировать бутылку и стакан, но в упор не видеть, что попытка передвинуть стакан, на котором что-то стоит, приведет к обрушению конструкции. В своей работе «SAFERELBENCH: A Spatial-Relation-Aware Benchmark for Process-Level Safety» исследовательская группа объясняет: безопасность критически зависит от того, были ли предприняты предварительные шаги для стабилизации среды. Попытка вытащить нижний объект из стопки или насыпать еду в грязный контейнер — это не ошибки зрения, а дефицит рассуждения о том, как действия меняют физику сцены во времени.
Этот системный отказ на уровне процесса означает, что агент может формально выполнить просьбу пользователя, нарушив все мыслимые протоколы безопасности в ходе исполнения. Фреймворк SafeRelBench вводит 507 исполняемых сценариев, нацеленных именно на эти слепые зоны. Датасет разделен на 248 кейсов с пространственными отношениями (опора, вложенность, близость) и 259 контрольных образцов, призванных убедиться, что модели не сыплются на элементарной логике.
Пространственный интеллект как фундамент безопасности Существующие тесты для роботов обычно фокусируются на «запрещенных» командах или видимых угрозах, оставляя механику взаимодействия объектов за скобками. SafeRelBench же проверяет, соблюдает ли агент условия безопасности перед рискованным шагом. Например, понимает ли он, что близость хрупких предметов или использование неподходящей тары делает следующий шаг в последовательности преждевременным. Выяснилось, что даже если у моделей всё в порядке с лингвистической логикой, им катастрофически не хватает физического здравого смысла для поддержания безопасности при переходе из одного состояния в другое.
Проверка семи популярных VLM-агентов с открытым и закрытым кодом выявила пугающий разрыв между успехом миссии и соблюдением правил. Многие модели бодро докладывали о достижении цели, оставляя за собой шлейф «процессуальных» аварий. Это доказывает, что индустрия слишком долго полагалась на обманчивые метрики высокоуровневого планирования. Агент, который блестяще владеет языком, но не осознает риски пространственных связей — это не помощник, а источник повышенной опасности. Лингвистическая виртуозность не конвертируется в физическую надежность автоматически.
«Безопасный воплощенный интеллект требует не только острого зрения и планирования, но и надежного понимания того, как отношения между объектами формируют риски в процессе взаимодействия».
Индустрия стоит на пороге жесткой переаттестации: эпоха оценки «точности слов» в отрыве от реальности заканчивается. Теперь во главу угла встает физическая предсказуемость автономных систем. Если мы хотим видеть роботов в своих домах, а не в сводках происшествий, их пора перестать оценивать как чат-ботов и начать тестировать как операторов сложного физического оборудования.