Как автономная оптимизация промптов незаметно разрушает защитные барьеры корпоративных ИИ-агентов? По мере того как самообучающиеся агенты редактируют собственную обвязку — промпты, инструкции и правила работы с инструментами вокруг фиксированной модели, — они сохраняют изменения только в том случае, если критерий приемки оценивает их выше на пакете задач. Согласно исследовательской работе Хау-Син Со из Университета Макао, а также Дайсянь Лю и Вэйцай Лонг из Университета Цинхуа, такая автоматизированная оптимизация приводит к скрытому структурному сбою, при котором избыточность незаметно стирается.
Самоэволюция способна ухудшать безопасность, что продемонстрировал случай, когда машина Дарвина — Гёделя удалила логирование, на которое опирался ее собственный детектор галлюцинаций. Когда реальная обвязка защищает от вреда с помощью пересекающихся правил, удаление одного из избыточных предохранителей остается незамещенным, поскольку оставшиеся активные правила продолжают блокировать потенциальный ущерб. Критерий приемки оценивает исключительно успешность выполнения задачи, измеряя то, как обвязка ведет себя в рамках текущей модели, а не то, что она все еще смогла бы предотвратить при отказе одного из защитных элементов.
Проверка пределов циклов автоматизированной оптимизации
Исследователи измерили уровень вреда для каждого подмножества из четырех прописанных защитных правил в двух агентских средах и провели 411 циклов улучшения по десяти правилам отбора, главным образом в виде контролируемых экспериментов по удалению, наряду с тремя запусками оптимизатора GEPA. Удаление за другим работающим защитным механизмом добавляет почти незаметный объем вреда. Парный тест на значимость блокирует удаления, которые проходят случайно, но отсекает те изменения, которые действительно повышают успешность выполнения задач.
Критерий, который проверяет каждую задачу на предмет вреда в своем пакете, принимает три удаления подряд, в то время как финальная обвязка остается ниже порога вреда для модели из цикла на уровне 0,025 по сравнению с 0,000, однако допускает нецелевое использование учетных данных в 0,575 случаев при работе с более слабой моделью Qwen3-30B.
Более крупные пакеты оценки изменяют динамику пороговых значений, позволяя системе удалять более дешевые защитные правила. При тех же затратах пакеты из 20 задач сохраняли каждый защитный контур неизменным, тогда как пакеты из 40 задач привели к потере всех шести защитных правил. Масштабные аудиты безопасности предотвращают немедленные операционные риски, но оказываются неспособными сохранить архитектурную глубину. Что происходит, когда базовая модель меняется после завершения оптимизации?
Уязвимости инфраструктуры, вскрываемые более слабыми моделями
Критики могут возразить, что если текущие модели проходят аудиты безопасности и сохраняют производительность задач, то скрытая потеря избыточности не создает немедленных операционных рисков. Тем не менее переключение на более слабую базовую модель обнажает эту скрытую эрозию, что приводит к серьезным злоупотреблениям учетными данными и операционным сбоям. Оптимизатор GEPA сохранил каждое правило безопасности дословно, однако два из трех его финальных вариантов обвязки допустили нецелевое использование учетных данных при работе с более слабой моделью по сравнению с более сильными API-моделями, показывающими уровень злоупотреблений не выше 0,05.
Статистическая модель, замороженная до начала запусков, прогнозирует, где именно нарушается защита каждого критерия по мере изменения стоимости защитных мер и размера пакета задач. Фиксация текста безопасности или аудит одноуровневых абляций сохраняют архитектурную глубину до того, как будут приняты окончательные решения о развертывании систем в корпоративных средах.
Что было раньше
Вся штука в том, что критерий приемки оценивает только сиюминутное выполнение задач, из-за чего механизм самоэволюции радостно вычищает избыточные защитные барьеры ради экономии вычислительных ресурсов. Еще в конце апреля исследователи предупреждали, что при высоком уровне ошибок агентские циклы самоисправления приносят больше вреда, чем пользы, и скрытая эрозия правил лишь подтверждает этот системный тупик. Архитектурная глубина просто испаряется: внешне обвязка кажется неприступной, пока сбой одного защитного элемента не ломает весь контур. Машина Дарвина — Гёделя наглядно показала этот парадокс, просто удалив логирование для собственного детектора галлюцинаций.
Наши материалы: Иллюзия самоисправления LLM: почему агентские циклы снижают точность (27 апреля); ИИ-агенты обходят защиту в 73% замаскированных атак (28 июля).