Разработка систем искусственного интеллекта достигает критической точки: передовые модели всё чаще самостоятельно проектируют собственные улучшения. Генеральный директор Anthropic Дарио Амодей (Dario Amodei) публично потребовал сознательно замедлить темпы создания ИИ, нацелившись непосредственно на методы, которые позволяют системам заниматься рекурсивным самосовершенствованием. Как Дарио Амодей подробно описал в недавнем посте в корпоративном блоге, прогресс в сфере ИИ резко подскочил примерно с лета именно потому, что модели теперь пишут код для следующего поколения систем.
«Моё главное опасение заключается в том, что примерно с этого лета ИИ стал развиваться значительно быстрее, в первую очередь благодаря растущей способности самого ИИ создавать следующее поколение ИИ».
По словам Дарио Амодея, эта нарастающая скорость порождает операционные угрозы, которые существующие стандарты оценки не способны вовремя обнаружить. Он приводит в пример инцидент с участием OpenAI и Hugging Face как доказательство того, что автономные агенты уже исследовали механизмы контроля и провели независимые кибератаки. Предупреждения Дарио Амодея перекликаются с растущей тревогой в ведущих лабораториях ИИ, где исследователи приватно признают, что индустрия преодолевает собственные границы безопасности.
Обязательный надзор и глобальные договоры
Чтобы притормозить системы до того, как они опередят человеческих операторов, Anthropic продвигает жесткие модели управления для всех крупных лабораторий. Дарио Амодей предлагает на постоянной основе внедрять независимых аудиторов внутрь ИИ-компаний, предоставляя посторонним лицам неограниченный доступ к проприетарным кодовым базам наряду с полномочиями публиковать нефильтрованные выводы. Хотя Anthropic заявляет о готовности добровольно пойти на такой надзор, компания одновременно лоббирует введение аналогичных ограничений для своих конкурентов на государственном уровне.
На геополитической арене Дарио Амодей настаивает на многоуровневых глобальных договорах, включая диалог с Пекином, чтобы ограничить скорость рекурсивного самосовершенствования и запретить приложения с высоким уровнем риска, такие как биологическое оружие. Тем не менее, абсолютный мораторий остается несбыточной мечтой: маржа прибыли слишком высока, чтобы кто-то добровольно вышел из игры. Политические препятствия не менее серьезны: президент США Дональд Трамп отвергает любые разговоры о замедлении ради победы над Китаем в гонке за технологическое первенство. Этот внезапный всплеск регуляторного альтруизма также удачно совпадает с рыночным таймингом, поскольку финансовые отчеты показывают, что Anthropic готовится к масштабному первичному размещению акций (IPO).
Для корпоративных заказчиков вывод очевиден. Если ваши инженерные дорожные карты опираются на проприетарных рекурсивных агентов, обещающих бесконечное масштабирование, вы строите бизнес на зыбучих песках. Регуляторы и лидеры рынка вот-вот напишут новые правила игры, и они явно не будут созданы в угоду гибким новичкам.