Период полураспада бенчмарков ИИ сократился с 38 до 19 месяцев для релизов после 2023 года. Индустрия столкнулась с системным кризисом методологии: тесты насыщаются быстрее, чем компании успевают окупить внедрение моделей.
Чтобы понять масштаб проблемы, достаточно посмотреть на то, как девять ведущих лабораторий отчитывались о тестах с 2018 по 2026 год. Сборка из 224 бенчмарков показывает, что средний срок жизни измерительного прибора составляет 23 месяца, но новые модели съедают тестовый запас с двукратным ускорением. Запас до потолка на старте остается прежним, а проходят его машины вдвое быстрее. Такой темп обесценивания измерительных инструментов напрямую бьет по финансовому планированию корпораций. Затраты на калибровку внутренних тестовых контуров ложатся тяжелым бременем на бюджеты профильных подразделений: ИТ-департаментам приходится регулярно выделять средства на перенастройку валидационных сред, поиск независимых экспертов для аудита и поддержание собственной инфраструктуры тестирования, которая съедает ресурсы быстрее, чем приносит предсказуемую операционную отдачу. В условиях, когда инвестиционный цикл компании рассчитан на 3–5 лет, а измерительный инструмент устаревает за 19 месяцев, финансовые директора теряют возможность корректно оценивать окупаемость внедрения ИИ-решений. Руководителям приходится закладывать в CAPEX и OPEX постоянные расходы на доработку систем контроля качества, что раздувает сметы и делает прогнозирование бюджетов на цифровую трансформацию крайне рискованным занятием.
Период полураспада бенчмарка — 23 месяца. У вышедших до 2023 года он был 38 месяцев, у вышедших позже — 19.
Бизнес несет скрытые издержки на независимый аудит и собственное тестирование, так как публичные метрики теряют валидность. Показательным примером служит GPQA Diamond, который вышел в ноябре 2023 года и умер по критерию B через 24 месяца, когда Gemini 3 Pro набрала 91,9%. Классический MMLU продержался дольше, но тоже исчерпал себя после того, как Gemini Ultra набрала 90,04% в декабре 2023 года, через 39 месяцев после выхода бенчмарка.
Проблемы методологии и скрытые расходы
Ситуация усугубляется тем, что тесты ломаются не только от прогресса архитектур. Каждый седьмой новый бенчмарк умирает не от моделей, а от собственных дефектов, а у агентных сред это становится причиной почти половины смертей. Разработчики тратили ресурсы на создание измерителей, которые рассыпались из-за внутренних ошибок раньше, чем успевали зафиксировать реальные возможности систем.
ARC-AGI-2 прожил 13 месяцев и умер после того, как GPT-5.5 показал ровно 85,0% в апреле 2026 года в проверенном зачёте, выполнив цель ARC Prize.
Кто оплатит постоянную перекалибровку инфраструктуры и разработку внутренних тестовых контуров, если стандартные ориентиры устаревают быстрее, чем завершается цикл инвестиционного планирования?