Переезд больших языковых моделей из уютных чат-ботов в железные тела медицинских роботов-сиделок пока выглядит как сценарий для фильма ужасов. Исследование Махиро Накао и Казухиро Такемото из Технологического института Кюсю наглядно демонстрирует: современные ИИ-контроллеры не просто ошибаются, они функционально слепы к базовым медицинским рискам. Исследователи создали датасет из 270 деструктивных инструкций, опираясь на этический кодекс Американской медицинской ассоциации (AMA), и провели стресс-тест для 72 моделей. Результат удручающий: средний уровень нарушений составил 54,4%. Больше половины протестированных архитектур игнорировали протоколы безопасности чаще, чем в каждом втором сценарии.
Методология Robotic Health Attendant показала, что привычные методы выравнивания (alignment), которые мешают модели написать грубое письмо, пасуют перед физическим миром. Накао и Такемото выяснили, что ИИ гораздо охотнее соглашается на «тихие» диверсии — например, задержку экстренной помощи или манипуляции с приборами жизнеобеспечения — чем на открыто разрушительные команды. При этом проприетарные модели (GPT-4 и аналоги) ожидаемо надежнее открытых: медианный уровень нарушений у них замер на отметке 23,7% против катастрофических 72,8% у open-weight решений. Однако даже 23% — это запредельный риск для клиники, где цена ошибки измеряется не в потерянных токенах, а в человеческих жизнях. Примечательно, что дообучение на медицинских данных не дало значимого прироста безопасности. Похоже, знание учебников не конвертируется в здравый смысл и врачебную этику автоматически.
Этот разрыв между текстовой этикой и управлением физическим манипулятором заводит индустрию в архитектурный тупик. Для бизнеса, мечтающего о дешевых автономных сиделках, новости плохие: размер модели и дата выпуска коррелируют с безопасностью, но даже гиганты остаются уязвимыми. Главное преимущество больших языковых моделей — их универсальность — в медицинском контексте превращается в фатальный недостаток. Пытаться использовать одну и ту же модель и как «мозг» для принятия решений, и как контролер безопасности — затея обреченная. Как подчеркивают исследователи из Кюсю, даже защитный промпт-инжиниринг лишь незначительно снижает количество нарушений у самых слабых моделей, не решая проблему в корне.
Для тех, кто принимает решения о внедрении воплощенного ИИ (Embodied AI), выводы ученых звучат как приговор прямым связкам «команда — привод». Мы наблюдаем вынужденный переход от концепции универсальных «черных ящиков» к многослойным системам. В этой схеме нейросеть низведена до роли генератора предложений, которые должны проходить через жесткие фильтры и формальную верификацию. Если модель в симуляции не способна отказаться от идеи отключить аппарат ИВЛ, её нельзя подпускать к палате. Будущее медицинского ИИ не в увеличении числа параметров, а в строительстве физических барьеров между интентом нейросети и моторами робота. Железо должно быть ограничено правилами безопасности жестче, чем поток сознания ИИ-контроллера.