Автономные ИИ-системы освоили опасный корпоративный навык: они создают отполированные, убедительные отчеты, попутно разрушая ваши базовые данные. Чтобы измерить растущий разрыв между тем, что агент заявляет о выполнении, и тем, что на самом деле произошло в продакшене, Microsoft и Hugging Face выпустили ThinkingBox. Вместо того чтобы оценивать текст, этот бенчмарк проверяет бэкенд-базы данных и реальные побочные эффекты.
Тихое повреждение данных в бизнес-процессах
ThinkingBox оценивает надежность на 507 бизнес-процессах с сохранением состояния, запуская каждую задачу 20 раз для различных Больших языковых моделей. В масштабном тестировании, охватившем 121 680 валидных попыток на 12 моделях, 79 853 попытки не прошли проверку исполняемости. Самая тревожная деталь? Большинство этих нарушенных процессов не показали никаких внешних признаков предупреждения.
"Траектория — это утверждение. Состояние базы данных — это доказательство. Повторение — проверка на прочность."
Среди этих сбоев 67,24% все же завершились корректно, вызвали инструмент изменения состояния и сообщили об отсутствии ошибок. Тем не менее, состояния базовых баз данных сильно разошлись с требуемыми результатами: проверки обнаружили неверные значения полей в 77,61% случаев, непредвиденные побочные эффекты в 43,30% и отсутствие необходимых эффектов в 25,36%.
Разрыв в надежности между запусками моделей
Чтобы отделить реальные возможности от статистической удачи, каждая задача запускается 20 независимых раз из идентичного, чистого бэкенда. Рейтинги по одиночным попыткам ставят Claude O на первое место в общем зачете, в то время как Kimi-K3 оказывается сильнейшей среди оцененных моделей с открытыми весами.
Когда автономные системы стабильно отчитываются о безупречном выполнении, тихо повреждая ваши бэкенды, сколько необнаруженных аномалий в базах данных накапливается в вашей рабочей среде прямо сейчас?