Спор в Twitter вокруг Open LLM Leaderboard от Hugging Face напоминал больше склоку, чем аналитическую дискуссию. Внезапное появление Falcon и сопутствующее падение LLaMA в ключевом бенчмарке MMLU вызвали ожидаемый переполох. Разработчики рейтинга, конечно, нашли объяснение: оказалось, что за скромной табличкой с баллами скрывается целый букет проблем, ставящих под сомнение её ценность для тех, кто принимает реальные бизнес-решения. Дело не в моделях, а в том, как мы их измеряем.
Оказалось, что единого «рецепта» для MMLU не существует. Hugging Face полагается на свою библиотеку LM Evaluation Harness. LLaMA же, как выяснилось, использовала собственную модификацию кода, разработанного авторами бенчмарка из UC Berkeley. А Stanford HELM со своим видением и вовсе не мог остаться в стороне. Когда на одну и ту же задачу существуют разные «инструменты» и «настройки», результаты неизбежно расходятся. Смотреть на верхние строчки leaderboard, не вникая в «ингредиенты», — прямой путь к выбору модели, которая на деле окажется не такой уж и чемпионкой.
Именно такие расхождения, как с LLaMA, и подрывают доверие к любым рейтингам. Для бизнеса, который смотрит на LLM как на инструмент для решения реальных задач, важна не маркетинговая обёртка, а чёткое понимание, как именно производительность модели измеряется. Если разница в показателях MMLU может возникнуть из-за банальной смены настроек, версии кода или, как в случае с LLaMA, «собственной реализации», то на какие цифры вообще опираться? Принимать решения о внедрении LLM на основе таких данных — всё равно что играть в русскую рулетку с бюджетом.
Почему это важно: Хватит слепо пялиться на красивые цифры в Leaderboard. Реальное конкурентное преимущество кроется в методологии. Задавайте вендорам конкретные вопросы: Какие именно суб-бенчмарки MMLU использовались? Как обрабатывались ошибки? Есть ли у них собственные, внутренние бенчмарки, отражающие специфику ваших задач? Проверяйте воспроизводимость результатов. Внедряйте LLM, проверив их на своей песочнице, а не на чужих бенчмарках. Иначе ваш «чемпион» окажется не более чем дорогим калькулятором.