Пост-тренировочное квантование превратилось в стандарт де-факто для запуска LLM в условиях дефицита ресурсов. Обещание сократить аппетиты к памяти и энергопотреблению звучит заманчиво, однако исследователи Баха Рабаба, Джунейт Гюркан Аккора и Карсон К. Люн вскрыли фундаментальный изъян в методах валидации таких «ужатых» моделей. Согласно их работе «Иллюзия эквивалентности: статистическая характеристика эффектов квантования в LLM», привычные метрики вроде перплексии и точности просто не замечают критических сдвигов в поведении нейросетей. Модель может рапортовать о сохранении исходной точности, при этом полностью меняя логику достижения результата — а это прямой путь к скрытой деградации надежности в продакшене.
Распад согласия по правильности (Correctness Agreement)
Чтобы подсветить эту слепую зону, команда предложила новую метрику на уровне принятия решений — correctness agreement (согласие по правильности). Она измеряет пересечение правильных ответов базовой модели и её квантованных версий, не глядя на абсолютные показатели. Выяснилось, что даже при кажущемся сохранении производительности на умеренных уровнях сжатия возникает поведенческая дивергенция. На практике это означает, что низкобитная модель выбивает высокий балл в бенчмарке не потому, что сохранила логику оригинала, а потому, что случайно угадала ответы на других примерах. Исследование зафиксировало нелинейные точки разрыва: даже скромное снижение разрядности весов приводит к непропорциональным структурным искажениям.
Поведенческая дивергенция проявляется при умеренном квантовании, даже когда общая производительность на задачах кажется неизменной.
Для системных архитекторов этот диссонанс создает серьезные риски. Если вы доверяете квантованной модели критическую цепочку рассуждений, нельзя слепо верить, что она отработает пограничный случай так же, как полноразмерная версия, даже если их агрегированные скоры идентичны. Исследователи проанализировали квантование как структурный оператор и обнаружили, что статистика внутренних весов начинает «плыть» уже при переходе с 8-bit на 2-bit. Причем этот дрейф распределен неравномерно: одни компоненты архитектуры оказались куда более хрупкими, чем другие.
Уязвимая архитектура и статистический дрейф
Работа подчеркивает, что разные части LLM реагируют на компрессию по-разному. Проекции Query и Key в механизме внимания (attention) стабильно демонстрируют более высокую чувствительность к квантованию, чем проекции Value и Output. Используя статистические методы для оценки послойных искажений, Рабаба, Аккора и Люн доказали, что агрессивные настройки — особенно переход к 2 битам — вызывают структурные сдвиги, которые нелинейно распространяются по глубокой архитектуре. Малейшая численная флуктуация в одном слое может радикально изменить поведение модели через несколько слоев.
Наши результаты выявили нелинейные точки разрыва на низких битах и показали, что проекции query и key наиболее уязвимы.
Инженерам стоит признать: нынешняя одержимость экономией VRAM игнорирует цену непредсказуемости. Квантование — это не просто сжатие данных, а непрерывная структурная трансформация, которая меняет саму идентичность модели. С понижением точности мы получаем иную функциональную сущность, для которой старые методы валидации безопасности и стилистической консистентности бесполезны. Техническим директорам, внедряющим локальные решения, стоит воспринимать стандартные бенчмарки с изрядной долей скепсиса: они маскируют отказы, которые вылезут только в реальной эксплуатации. Пока индустрия не примет новые стандарты вроде correctness agreement и не научится защищать чувствительные проекции при сжатии, использование низкобитных моделей в критической бизнес-логике остается опасной игрой, где экономия на железе перекрывается потерей управляемости.