Современные искусственные интеллект-агенты функционируют, заключая базовую языковую модель в оркестрационный каркас из промптов, рабочих процессов, инструментов, памяти и логики, известный как обвязка (harness).
Эта обвязка определяет, что именно видит лежащая в основе модель на каждом оперативном шаге, задавая то, как агент читает файлы, восстанавливается после ошибок выполнения и структурирует свои ответы. Хотя большая часть недавнего прогресса в сфере автономных агентов обусловлена оптимизацией именно этих внешних каркасов, а не обучением более крупных базовых моделей, ранние ручные рабочие процессы уступили место циклам автоматического рекурсивного самосовершенствования, в рамках которых языковые модели переписывают собственную архитектуру обвязки на основе обратной связи от бенчмарков.
Узкое место переобучения при самооптимизации
Автоматизация разработки обвязки порождает острую проблему специализации. Когда агент оптимизирует свое окружение под фиксированный набор тестов, он склонен заучивать тестовые задачи. Показатели на обучающих сценариях растут, тогда как прирост производительности на незнакомых проблемах сокращается или полностью исчезает.
Поисковая оптимизация запоминает паттерны, уникальные для отдельных бенчмарков, вознаграждает кандидатов в обвязки, добивающихся успеха чисто случайно, и накапливает избыточную логику, которая раздувает тестовые метрики, не улучшая реальных возможностей.
Для борьбы с этим деградирующим эффектом новый метод от Google Cloud AI Research и ряда академических партнеров предлагает регулярное рекурсивное самосовершенствование каркасов агентов (Regularized Recursive Self-Improvement of Agent Harnesses, RRSI).
Когда система предлагает новые изменения, специальный лимит ограничивает количество независимых правок, которые кандидат может объединить за один раз.
Этот бюджет правок уменьшается по мере прохождения последующих циклов оптимизации, что позволяет проводить широкие архитектурные переработки на ранних этапах, а затем ограничивать изменения более мелкими, поддающимися отслеживанию корректировками. RRSI отслеживает предыдущие попытки модификации, чтобы предотвратить циклические сбои, и направляет поиск в сторону нетронутых участков обвязки, когда прогресс заходит в туман. Со стороны отбора специальный критик отсеивает предлагаемые обновления, которые жестко прописывают названия задач или уловки для бенчмарков, приводит в исполнение правила, обеспечивающие измеримый прирост производительности, и удаляет устаревшие компоненты.
Прирост обобщения и межмодельный перенос
Исследователи оценили эффективность RRSI, оставив базовую языковую модель полностью замороженной. В отличие от конкурирующих методов оптимизации, чья производительность падала ниже базовых немодифицированных показателей на новых задачах, RRSI сохранила положительный перенос во всех тестах вне зоны распределения.
Структурные улучшения, зафиксированные с помощью регулярного поиска по обвязкам, также переносятся между семействами моделей. Архитектурная логика, обнаруженная в ходе оптимизации каркаса, функционирует независимо от масштаба параметров модели, использованного для ее генерации, демонстрируя, что структурированное агентное обрамление надежно расширяет возможности системы без изменения весов базовой модели.