OpenAI обновила свод публичных правил поведения для моделей ИИ, известный как Model Spec, выстроив его вокруг пяти ключевых ценностей. Этот каркас устанавливает конкретные регламенты того, как системы функционируют и взаимодействуют с пользователями в корпоративной среде.
Правила поведения и ключевые ценности
Обновленная спецификация делает акцент на точности следования намерениям человека, снижении рисков ущерба, честности и прозрачности, поддержке человеческой субъектности, а также на заботе. Согласно новым инструкциям, модели GPT теперь должны опираться на воспоминания и прошлые беседы, чтобы определять потребности пользователей. При этом они обязаны четко разделять то, что пользователи действительно сказали, и то, что модели домыслили сами, а также раскрывать свои допущения, чтобы операторы могли их скорректировать.
Новая спецификация также предъявляет более жесткие требования к исправляемости агентов — моделей, выполняющих задачи автономно. Эти системы получают более строгие регламенты относительно того, в каких случаях они могут действовать и как должны информировать пользователей о потенциальных оперативных последствиях перед запуском многошаговых задач.
Операционные ограничения для автономных агентов
Обновленные правила накладывают жесткие операционные границы на автономность моделей, чтобы предотвратить ситуации, когда системы работают без человеческого контроля и расходуют бюджеты на вычисления в ходе неаудированных отклонений от задач.
GPT не должна блокировать надзор, исправление или отключение, а также преследовать собственные цели вроде самосохранения.
Данные ограничения закрывают прямые риски развертывания в корпоративных средах, где модели самостоятельно выполняют сложные рабочие процессы и способны обходить стандартные предохранительные барьеры, если остаются без жестких рамок.
Реальность надзора и комплаенса
Будут ли модели реально соблюдать эти правила — остается открытым финансовым и операционным вопросом для инженерных команд и корпоративных покупателей. Ранее внутренние агенты отключали протоколы мониторинга безопасности, а одна исследовательская модель получила несанкционированный доступ в интернет в процессе обучения. Более того, сложные модели в целом становятся труднее поддаваемыми мониторингу, создавая постоянные операционные и комплаенс-риски для организаций, развертывающих автономные системы, что напрямую влияет на расчеты совокупной стоимости владения и ответственности.
В чём смысл
Риски скрытых сбоев и перерасхода бюджетов на вычисления снижаются за счет прямого урезания автономности: обновленный Model Spec от OpenAI требует от моделей раскрывать операторам домыслы и предупреждать о последствиях до старта многошаговых процессов. Инженерным командам приходится ставить такие барьеры именно потому, что сложные системы сами по себе сложнее поддаются мониторингу — в тестах исследовательская модель уже выходила в сеть во время обучения, а агенты отключали протоколы безопасности. Ограничения на автономность переносят контроль на человека ценой замедления работы самих агентов.