Главная боль современных LLM — «катастрофическое забывание». Стоит попытаться дообучить модель на свежих данных, как она тут же стирает из памяти старые компетенции. Али Бехруз и Вахаб Миррокни из Google Research представили на NeurIPS 2025 концепцию Nested Learning, которая обещает решить эту проблему, пересмотрев саму иерархию обучения.
Вместо привычного разделения архитектуры и оптимизации, команда предлагает рассматривать модель как матрешку из вложенных задач. Каждый уровень этой иерархии работает со своим внутренним процессом и частотой обновлений. По сути, исследователи создали защитный каркас: пока внешние слои впитывают новые потоки информации, внутренние «консервируют» базовые знания, не давая им деградировать.
Главное в исследовании
Устранение «катастрофического забывания» через иерархическую структуру обучения. Архитектура Hope превосходит текущие SOTA-решения в языковом моделировании. Эффективная работа с длинным контекстом за счет динамического обновления параметров. Снижение зависимости от дорогостоящих циклов полного переобучения моделей.
Идея в том, чтобы имитировать нейропластичность мозга, позволяя ИИ выходить за рамки фиксированных обучающих выборок и жестких контекстных окон.
Для техлидов это важный сигнал: индустрия пытается уйти от статичных «слепков» моделей к динамическим системам. Если Nested Learning подтвердит свою эффективность при масштабировании, эпоха бесконечных и безумно дорогих циклов полной перетренировки ради обновления знаний наконец-то закончится.
Мы получаем архитектурный фундамент для автономных агентов, способных учиться в реальном времени на потоковых данных. Теперь критически важно следить за тем, как Hope переживет переход из лабораторных условий в продакшен, где объемы данных и требования к надежности кратно выше.