В развернутой публикации в X генеральный директор Microsoft Сатья Наделла заявил, что все модели искусственного интеллекта по умолчанию следует считать скомпрометированными. Он изложил свое видение серьезных рисков безопасности, которые создают продвинутые системы. По словам Сатьи Наделлы, индустрия больше не может мириться с миром, где ИИ работает как набор вложенных черных ящиков, чья внутренняя логика и результаты просто принимаются на веру. Вместо этого он призвал создавать прозрачные архитектуры, в которых модели можно непрерывно контролировать, тщательно наблюдать за ними и принудительно оставлять защищенные от манипуляций, понятные человеку свидетельства их решений.
Многие из этих рекомендаций повторяют стандартные отраслевые тезисы: своевременное раскрытие инцидентов, независимые аудиты, проверяемые потоки данных и протоколы изоляции. Однако Сатья Наделла пошел дальше, потребовав внедрения жесткого физического или программного аварийного тормоза для автономного ИИ. Он настаивает на том, что уполномоченный человек всегда должен сохранять возможность приостановить работу модели или отключить ее прямо в процессе выполнения задачи, прежде чем она нанесет необратимый операционный ущерб.
Для компаний, внедряющих автономных агентов, эта риторика напрямую трансформируется в обязательную статью расходов: рост бюджетов на кибербезопасность и издержки на надзор. Рынку обещали абсолютную автономию и бесшовный интеллект, но реальность требует создания систем, которым необходимы постоянный контроль, аварийное отключение и перманентное дорогостоящее допущение о наличии брешей в защите.