Красивые метрики в AI-отчетах часто оказываются фасадом, за которым скрывается мусор в данных. Исследователи, тестировавшие детекторы галлюцинаций для RAG-систем, обнаружили странный феномен: шесть разных LLM-судей единогласно разошлись с «золотым стандартом» разметки в 7,7% случаев. Первой гипотезой стала «общая слепая зона» нейросетей, но реальность оказалась прозаичнее: ошибались не алгоритмы, а люди, составлявшие эталонный бенчмарк RAGTruth.
Механика проверки показала, что три четверти «ошибок» моделей на деле были галлюцинациями самих разметчиков. Там, где человек поставил метку «отсутствует в источнике», модели четко находили конкретные имена экономистов и точные проценты. Более того, во всех случаях, когда детектор сигнализировал о галлюцинации вопреки «чистому» эталону, ручная сверка подтвердила правоту машины. При стоимости прогона около доллара консенсус из нескольких LLM показал качество на уровне F1 0.766, фактически переиграв человеческую разметку, которая оказалась «грязной» в обе стороны.
Бизнес-риск здесь прямой и осязаемый: компании внедряют RAG-системы, полагаясь на бенчмарки вроде RAGTruth как на истину в последней инстанции. Если ваш департамент разработки рапортует о росте точности по эталону, велика вероятность, что они просто подгоняют систему под ошибки в данных, которые умные модели уже научились распознавать лучше людей. Доверять «красивому результату» без независимой ревизии источника — значит строить контроль качества на зыбучем песке.
Слепое доверие к публичным бенчмаркам создает опасную иллюзию контроля в продакшене. Эффективность LLM-as-a-Judge сегодня выше, чем принято считать, а главным бутылочным горлышком становится верификация самих проверочных наборов. Если вы не внедрите процедуру перекрестной проверки «золотых данных» силами независимых моделей, ваши отчеты будут отражать не качество продукта, а глубину заблуждений нанятых разметчиков.