Hugging Face и NVIDIA решили навести порядок в хаосе бенчмарков для AI-моделей, представив «Open Evaluation Standard». Формально, это призыв публиковать полные и воспроизводимые «рецепты» оценки, чтобы любая компания могла проверить, действительно ли новая модель стала умнее, а не просто лучше причесана под конкретный тест. Цель — избавить бизнес от необходимости выбирать решения, основываясь на маркетинговом шуме, а не на реальных данных.
Разработчики жалуются, что существующие методы оценки зачастую скрывают критические детали: версии ПО, настройки запуска, специфические промпты. Эти «мелочи», как выясняется, могут кардинально влиять на результаты. «Без полного рецепта почти невозможно понять, стала ли модель действительно умнее, или просто оптимизирована под конкретный бенчмарк», — признаются авторы инициативы. NVIDIA уже продемонстрировала, как это должно работать, опубликовав полный набор инструментов и конфигураций для оценки своей модели Nemotron 3 Nano 30B через NeMo Evaluator. Инициатива выглядит как шаг к более честному сравнению, где реальные возможности модели, а не красивые цифры в отчёте, становятся главным аргументом.
Для бизнеса это означает шанс наконец-то получить объективную картину конкурентной среды. Теперь можно будет опираться на проверяемые данные при выборе AI-решений, а не на очередные «революционные» заявления от поставщиков.