Современное глубокое обучение до сих пор держится на «костылях» человеческой интуиции. Алгоритмы вроде AdamW или Lion — это результат бесконечных попыток и ошибок, где дизайн оптимизатора остается узким горлышком. Исследователи из Института автоматизации Китайской академии наук и Академии Чжунгуаньцунь справедливо отмечают: сегодня разработчик зажат между примитивными параметрическими семействами и хаотичной генерацией кода, которая то и дело выдает нестабильный мусор. Проблема в том, что оптимизатор — это не просто формула, а сложная динамическая система, где вычислительная устойчивость и законы масштабирования связаны в тугой узел. На разработку этих инструментов уходят месяцы R&D, которые могли бы быть потрачены на что-то более полезное.
Оркестр синтетических ученых
Чтобы прекратить это гадание на кофейной гуще, команда представила OPTScientist. Это фреймворк, который превращает поиск оптимизаторов в строгий научный процесс внутри типизированного языка предметной области (DSL). Вместо того чтобы заставлять одну нейросеть галлюцинировать произвольный код на Python, OPTScientist использует мультиагентную петлю. Агент-теоретик выдвигает гипотезы, опираясь на общую память; Дизайнер переводит их в кандидаты на DSL; Инженер компилирует и тестирует код; а Рецензент разносит результаты в пух и прах, чтобы уточнить следующий цикл. Такая модульность гарантирует, что каждый кандидат соответствует фундаментальным априорным принципам направления, масштабирования и регуляризации.
«Проектирование оптимизаторов для современного глубокого обучения остается сложной научной задачей, требующей совместного учета геометрии оптимизации, динамики состояний, численной устойчивости и эмпирической обобщающей способности».
Ограничение поиска типизированным DSL позволяет OPTScientist отсеивать некорректные тензорные операции еще до того, как вычислительные ресурсы будут сожжены на обучение. Если система заходит в тупик, включается механизм второго этапа: агенты предлагают расширения для самого DSL. Фактически ИИ достраивает собственный математический вокабуляр, чтобы преодолеть ограничения выразительности. Это выглядит как честная попытка автоматизировать фундаментальную науку, а не просто перебирать гиперпараметры.
Экономика открытий и производительности
Результатом этой агентской коллаборации стал RS-MR — оптимизатор с сокращенным состоянием матрицы. Тесты показывают, что RS-MR обходит индустриальные стандарты при обучении трансформеров. Но главная новость здесь не в цифрах бенчмарков, а в изменении экономики R&D. Делегируя черновую научную работу автономным агентам, лаборатории получают математически стабильные алгоритмы без многомесячного труда высокооплачиваемых экспертов. «Черная магия» оптимизации превращается в прозрачный, проверяемый и исполняемый конвейер.
Разумеется, автоматизация науки об оптимизаторах не дается даром. Вычислительная стоимость самого процесса поиска огромна, а вопрос о том, насколько найденные решения применимы к радикально новым архитектурам, остается открытым. Тем не менее успех RS-MR доказывает: пока люди закладывали фундамент, следующий уровень эффективности обучения будет найден в ходе высокоскоростных экспериментов агентных систем. Для техлидов и исследователей это сигнал: пора переходить от ручной настройки алгоритмов к архитектурному надзору. Реальный тест для этой методики начнется тогда, когда трансформеры станут еще более гетерогенными, требуя от оптимизаторов гибкости, на которую человеческий мозг просто не рассчитан.