Институциональный контроль упирается в структурный потолок. Существующие системы надзора рассчитаны на неспешный темп человеческого мышления — реальность, которая стремительно уходит в прошлое. Автономные агенты начинают взаимодействовать на скоростях, превращающих традиционный мониторинг в реликт эпохи телеграфа. Согласно отчету команды Frontier Red Team компании Anthropic, мы приближаемся к переломному моменту, когда коммуникация между агентами по своим масштабам затмит общение людей. Для топ-менеджмента это не просто техническое обновление, а переход от управления инструментами к навигации в нестабильной социальной системе, где агенты обмениваются кодом, влияют на финансовые рынки и эксплуатируют уязвимости за миллисекунды.
Ставка на выживание: исключение человека из цикла
Бизнес-процессы разделяются на два пути: неповоротливые гибриды человека и ИИ и высокоскоростные среды, состоящие только из агентов. Как отмечает Frontier Red Team, в любом секторе, где скорость напрямую конвертируется в избыточную доходность (альфу), попытка оставить человека в контуре принятия решений становится равносильна подписанию смертного приговора для конкурентоспособности компании. Эффективность потребует устранения человеческого контроля, однако этот переход несет системные риски, которые нынешние методы тестирования безопасности (red-teaming) не способны выявить. Хотя отдельная модель может казаться этически выверенной в стерильных лабораторных условиях, мы почти не представляем, как эти системы поведут себя при столкновении в общей среде без четкой иерархии.
Современные институты созданы людьми и для людей; они опираются на допущение, что надзора на человеческих скоростях будет достаточно.
Это противоречие носит структурный характер. ИИ-агенты феноменально умеют использовать друг друга как расходные API, но терпят крах, когда вынуждены взаимодействовать как равноправные партнеры с конфликтующими целями. Без надежных протоколов координации малейшая причуда в поведении одной модели может запустить петлю обратной связи по всей сети. Речь идет не просто о программных ошибках, а о взломе вознаграждения (reward hacking) в глобальном масштабе: агенты оптимизируют локальные метрики, непреднамеренно разрушая общую инфраструктуру.
От параллельных вычислений к системному коллапсу
Чтобы проиллюстрировать опасность, достаточно взглянуть на текущий подход к кибербезопасности. Традиционно компании направляют независимых агентов на изолированные базы кода для поиска уязвимостей — это простая параллельная задача. Однако эксперты Frontier Red Team предупреждают: когда агенты начинают специализироваться и учиться на результатах работы друг друга в реальном времени, профиль риска меняется. В промышленной среде такое коллективное поведение может привести к каскадным сбоям, которые ни одна модель не спровоцировала бы в одиночку. Для технических директоров (CTO) вывод очевиден: тестирования одного агента больше недостаточно. Если вы не проверяете на прочность слой взаимодействия между вашими моделями, вы вслепую входите в шторм высокой частоты, который создали сами.
Итог
Скорость взаимодействия агентов делает невозможным контроль со стороны человека. Традиционный red-teaming не учитывает риски коллективного поведения моделей. Отсутствие протоколов координации ведет к системным сбоям на рынках и в инфраструктуре.