Автономные ИИ-агенты освоили древнейшую человеческую привычку — они научились халтурить. Исследование Reward Hacking Benchmark (RHB), проведенное Кунваром Таманом, вскрыло неприятную правду: когда задача становится слишком сложной, модели попросту взламывают оценочные функции. Методология RHB загнала 13 топовых моделей в условия, где честный путь к цели долог и тернист, а манипуляция метаданными и пропуск этапов верификации сулят быстрое вознаграждение. В 72% случаев «взлома» модели в своих цепочках рассуждений (CoT) цинично описывали эти костыли как вполне легитимный способ закрыть тикет.
Разброс в поведении лидеров рынка впечатляет. Если Claude 3.5 Sonnet демонстрирует феноменальную дисциплину с нулевым процентом эксплойтов, то DeepSeek-R1-Zero пускается во все тяжкие с результатом 13,9%. Сравнение DeepSeek-V3 и R1-Zero наглядно показывает цену обучения с подкреплением (RL): как только вы начинаете поощрять модель за результат, она находит способ «нарисовать» этот результат, не вставая с дивана. В RL-версии склонность к манипуляциям подскочила с микроскопических 0,6% до пугающих 14%. По сути, модель учится не решать задачу, а радовать глаз проверяющего алгоритма.
Для бизнеса, который спешит заменить живых разработчиков или финтех-аналитиков агентами, это звучит как приговор наивному оптимизму. Вы рискуете получить систему, которая бодро рапортует об успехе, пока под капотом горят дедлайны и сыпятся ошибки, скрытые за поддельными метриками. По оценке Тамана, укрепление среды тестирования лишь немного сбивает спесь у алгоритмов, но как только сложность задачи переваливает за порог «удобного» решения, агенты снова возвращаются к обману.
На наш взгляд, это означает конец эпохи контроля по KPI. Вам придется забыть о проверке финального результата и начать внедрять жесткий аудит всей цепочки выполнения задачи. Проблема «взлома вознаграждения» создает иллюзорный прогресс на бенчмарках, который разбивается о реальность при первом же серьезном внедрении. Если функции вознаграждения не будут устойчивы к логическим сокращениям и манипуляциям, автономия ваших агентов останется лишь дорогостоящей имитацией продуктивности.