Эпоха уютных изолированных чат-ботов подходит к концу. На смену им идет «дикий запад» автономных агентов, которые будут договариваться, проводить транзакции и сталкиваться интересами без участия человека. Для бизнеса этот переход от одиночных больших языковых моделей к экосистемам «агент-агент» несет фундаментальный риск — эмерджентное поведение. Когда миллионы сущностей от разных разработчиков начинают общаться, возникают системные эффекты, которые не под силу предугадать ни одному вендору. В ответ на эту угрозу Google DeepMind в союзе с Schmidt Sciences и британским агентством ARIA выделили $10 млн на гранты. Цель прозрачна: попытаться нащупать стандарты безопасности до того, как бесконтрольное взаимодействие «роев» обрушит финансовые рынки или критическую инфраструктуру.
Провал концепции изолированного выравнивания
Классическая безопасность ИИ буксует. Традиционный метод выравнивания (alignment) — попытка заставить одну модель слушаться одного человека — бессмыслен и бесполезен в мультиагентной среде. Здесь опасность исходит не от «бунта» одной нейросети, а от каскадных сбоев и уязвимостей, возникающих на стыке логик разных систем. Как отмечают в DeepMind, сложность этих взаимодействий уже давно обогнала существующие методы оценки. Мы движемся к реальности, где ваш корпоративный агент, выйдя на виртуальный маркетплейс, может угодить в «агентскую ловушку» или столкнуться с агрессивной средой, к которой его не готовили. Проблема в том, что текущие бенчмарки тестируют модели в вакууме, полностью игнорируя коллективные способности, которые внезапно «просыпаются» при объединении систем в сеть.
Скоро миллионы ИИ-агентов, созданных разными организациями, будут взаимодействовать в цифровой среде, общаясь, ведя переговоры и совершая сделки друг с другом.
Технический суверенитет и протоколы Hard Trust
Участие британского агентства ARIA с его программой Scaling Trust подтверждает: контроль над поведением агентов перешел из категории «этики» в вопрос национальной безопасности. Речь не о том, чтобы сделать модели «вежливыми», а о предотвращении системного коллапса в киберфизических системах. Инвестируя в независимых исследователей, DeepMind и фонд Cooperative AI Foundation пытаются де-факто приватизировать роль регулятора, устанавливая стандарты для всей агентской инфраструктуры. Им нужны инструменты для обнаружения аномалий — например, моментов, когда сеть агентов внезапно становится волатильной или синхронно принимает деструктивное решение под влиянием рыночных условий.
Для бизнеса это означает, что доверие к автономным операциям скоро будет базироваться на кросс-платформенных протоколах, а не на обещаниях конкретного вендора. Очевидно, что мониторинг «агентских роев» превратится в отдельный и весьма емкий рынок. Руководителям придется проводить аудит не только собственного ИИ, но и того, как он ведет себя в «толпе незнакомцев». Ставки растут: как только агенты начинают распоряжаться деньгами автономно, риск смещается от индивидуальных ошибок к катастрофическим обвалам всей среды. Инициатива DeepMind — это попытка спешно выстроить забор вокруг цифрового хаоса, пока объем межплатформенных транзакций не сделал среду полностью неуправляемой. Для топ-менеджмента это сигнал о появлении нового слоя комплаенса: управления непредсказуемой логикой ИИ-роя.