Бизнес привык доверять лидербордам вроде Berkeley Function Calling Leaderboard (BFCL), выбирая малые модели ради экономии на серверных мощностях. Логика кажется разумной: смотрим на цифры деградации при сжатии, подбираем квантованный формат под видеопамять ноутбука и запускаем агента. Однако свежее исследование QuantMCP доказывает, что подобные отчеты — не более чем «стерильный» лабораторный эксперимент. Ранговая корреляция Спирмена между успехами моделей на BFCL и их работой с реальными серверами Model Context Protocol (MCP) составила минус 0,755. В переводе с математического на управленческий: если лидерборд обещает вам стабильность конкретного кванта, в реальности он, скорее всего, подведет вас сильнее остальных.
Проблема в том, что популярные бенчмарки используют «причесанные» схемы инструментов. Живые же MCP-серверы выдают сырые данные, на которых компактные модели мгновенно ломаются. Анализ выявил абсурдные сценарии: например, Llama-3.2-1B вместо выполнения задачи просто возвращает саму JSON-схему инструмента. С квантованием ситуация еще коварнее: на низких точностях вроде Q4_K_M модель может случайно выдать более «читаемый» для парсера формат, чем на чистом fp16, создавая ложное ощущение надежности. Но за этой случайной удачей неизбежно следуют галлюцинации в названиях функций.
Попытка внедрить локальный ИИ-агент, опираясь на стандартные таблицы производительности, — это игра в рулетку с операционными процессами. Механика простая: квантование меняет не только качество, но и саму форму вывода, превращая «умного помощника» в генератор непредсказуемого мусора. Пока Qwen3-1.7B держится чуть лучше конкурентов, общее правило остается прежним: если вы сжимаете модель, чтобы она влезла в бюджетную RTX 3050, вы покупаете не эффективность, а риск незаметного отказа всей системы в самый подходящий момент.
Риски для бизнеса
Попытка сэкономить на VRAM и запустить агентов на локальных GPU приводит к ошибкам в логике, которые невозможно отследить по стандартным метрикам. Отрицательная корреляция между синтетическими тестами и реальной работой MCP делает лидерборды бесполезными для выбора стека. Квантованные модели склонны к циклическому повторению схем вместо их исполнения. Случайные успехи малых моделей на определенных квантах создают ложную уверенность в их надежности.
«Доверять синтетическим бенчмаркам при проектировании агентских систем нельзя — они игнорируют сложность реальных инфраструктурных схем».
Безоглядная вера в цифры из Berkeley при проектировании бизнес-процессов — прямой путь к убыткам. Экономия на видеопамяти через агрессивное сжатие сегодня оборачивается непредсказуемыми сбоями в логике выполнения операций. Прежде чем переводить автоматизацию на малые модели, тестируйте их исключительно на собственных рабочих фикстурах, игнорируя красивые графики в маркетинговых отчетах.