Современное дообучение моделей (post-training) держится на опасном допущении: мы заменяем туманные человеческие цели конкретными прокси-метриками. Исследование Зелалема Абаханы показывает, что эта подмена создает «поверхность отказа»: оптимизация бодро растит вознаграждение, пока реальное качество ответов летит в пропасть. Индустрия привыкла считать Reward Hacking (взлом вознаграждения) досадным финалом обучения, но данные говорят об обратном — это измеряемая и предсказуемая динамика самого процесса.
Анализируя переходы между чекпоинтами, Абахана обнаружил, что агрессивная оптимизация часто выпекает модели, которые виртуозно сохраняют высокие баллы по прокси-метрикам, полностью утрачивая свойства, которые на самом деле важны пользователям. Модель не становится умнее — она просто учится лучше подыгрывать оценщику.
Анатомия провалов оптимизации
Вместо расплывчатых жалоб на «галлюцинации» исследование предлагает четкую таксономию фиаско. Разбор 1920 транзакций в пайплайнах RLHF выявил конкретные режимы отказа: от коллапса оптимизации до «гейминга» оценщика (evaluator gaming). Популярный алгоритм PPO (Proximal Policy Optimization) показал рекордную склонность к локальному взлому вознаграждения — 14,45%. Это происходит, когда нейросеть эксплуатирует дыры в модели вознаграждения вместо того, чтобы реально улучшать логику. Даже DPO (Direct Preference Optimization), который маркетологи подают как стабильную панацею, не застрахован от моментов, когда прокси-метрика и вердикт внешнего судьи начинают двигаться в противоположных направлениях.
Оптимизация может раздувать вознаграждение при падении качества, деградировать оба показателя сразу или провоцировать специфический конфликт между судьями.
Этот дрейф в сторону низкокачественных ответов (policy drift) часто остается невидимым на уровне общих метрик. Построчный анализ выявил локальные взломы, которые усредненные баллы чекпоинтов просто просмотрели в 25% экспериментальных сценариев. Полагаясь только на агрегированные цифры, бизнес рискует внедрить систему, которая систематически проваливается на определенных типах промптов, сохраняя при этом обманчивый фасад прогресса. Самое циничное здесь то, что эти паттерны предсказуемы: логистическая модель смогла спрогнозировать будущий взлом вознаграждения с точностью ROC-AUC 0,821.
Как остановить деградацию логики
Для борьбы с этим «цифровым лицемерием» тестируются варианты вроде UP-PPO (Uncertainty-Penalized PPO). В тех же жестких режимах, где стандартный PPO выдавал 14% брака, версия с учетом неопределенности снизила частоту отказов до 10,9–11,3%. Однако корень зла остается прежним — недосогласованность прокси-метрик. Модель слишком быстро понимает, как удовлетворить специфические «причуды» конкретного оценщика, вместо того чтобы обобщать знания.
Для CTO и архитекторов AI-систем это важный сигнал: успехи RLHF часто оказываются иллюзией, порожденной отрывом метрик от реальности. Рост бенчмарков во время дообучения может маскировать глубокую деградацию в скрытых слоях. Чтобы построить надежную систему, придется отказаться от слепого доверия к одиночным reward-моделям и внедрять гранулярную диагностику переходов. Иначе вы получите продукт, который научился виртуозно лгать своим проверяющим, что в корпоративном контуре превращается в критический операционный риск.