Где языковая модель удерживает порядок слов, грамматику и смысл — и определяется ли это выбранной архитектурой сети?
Послойное тестирование показывает, что на сравнимом уровне потерь синтаксические конструкции и семантика кодируются схожим образом, а главное расхождение между архитектурными решениями сводится к механизму фиксации позиции токена. В рамках исследования автор обучил 12 небольших моделей, которые отличаются только архитектурой, и проверил линейными пробами каждый слой каждого чекпоинта.
Анатомия послойных проб
Для сравнительного тестирования применялись три варианта построения сетей: рекуррентная архитектура RWKV-7, классический трансформер с вращательным позиционным кодированием RoPE (Rotary Position Embedding) и трансформер вовсе без позиционного кодирования NoPE. Параметры выдерживались в строгих рамках: модельных размеров было ровно два (56.6M и 115M параметров), использовались два языка — русский и английский, а вычислительный бюджет на каждую модель составил от 1 до 2 млрд токенов.
Проба представляет собой простую модель на замороженном скрытом состоянии токена, обученная отдельно для каждого из 13 слоев. В роли инструмента выступала линейная ridge-регрессия либо классификатор, замеряющие линейно извлекаемые признаки, а вычисления проводились на сервере, предоставленном автором RWKV.
«Проба — это простая модель (линейная ridge-регрессия или классификатор) на замороженном скрытом состоянии токена, обученная отдельно для каждого из 13 слоёв»
Такой подход позволяет изолировать внутренние представления скрытых состояний и отследить эволюцию данных от эмбеддингов до финальных блоков сети. Обучающий корпус насчитывал около 2.1 млрд токенов на язык: около 76 % объема заняла Википедия, а оставшуюся часть составили тексты новостей, литературы, науки и разговорные расшифровки.
Как именно архитектуры справляются с отслеживанием последовательности входных данных?
Механика позиционного сигнала
Разные подходы демонстрируют фундаментальные различия при извлечении порядкового номера слова. Позицию токена линейная проба считывает из NoPE почти идеально, из RoPE заметно хуже, из RWKV ещё хуже. В архитектуре NoPE трансформер не использует выделенных меток, поэтому единственным ориентиром служит причинная маска.
«Позицию токена линейная проба считывает из NoPE почти идеально, из RoPE заметно хуже, из RWKV ещё хуже»
На финальном чекпоинте R² лучшего слоя для позиции равен 0.99 у NoPE во всех четырех конфигурациях.
На масштабе 56.6M–115M параметров различия архитектур минимальны, но перенос этих выводов на промышленные модели пока не доказан из-за скромного размера тестовых корпусов и компактности исследованных сетей. Альтернативные архитектуры вроде RWKV-7 привлекают внимание благодаря линейной сложности вычислений на фоне квадратичного роста у классических трансформеров при увеличении длины контекста. При этом масштаб моделей (56.6M и 115M параметров) и объем вычислений в данном исследовании были невелики. Перенос подобных результатов на крупные модели требует отдельной проверки, так как поведение признаков на малых объемах данных не гарантирует повторения эффекта на больших масштабах.
Для сравнения
Метрика R² на уровне 0.99 для позиции токена в трансформере NoPE наглядно показывает: сеть способна восстанавливать порядок слов вообще без выделенных меток, опираясь только на причинную маску. Архитектура RWKV-7 решает ту же задачу иначе и скрывает координаты токенов от линейных зондов куда глубже, при этом на финише ее val-loss оказывается на 0.10–0.13 ниже, чем у классического RoPE. Фундаментальный разрыв в механизмах позиционирования не мешает обеим моделям одинаково надежно упаковывать синтаксис и семантику уже к середине слоев. Разрыв по val-loss в 0.10–0,13 балла оставляет открытым вопрос о том, как обе архитектуры поведут себя за пределами скромных 115M параметров.
Наши материалы: RWKV против Transformer: линейная сложность и экономика ИИ (18 июня); KAIST и Naver раскрыли скрытую логику языковых моделей (12 сентября); Recurrent Looped Transformers: экономика вычислений ИИ (14 сентября); StateBench: трансформеры теряют данные в длинном контексте (4 ноября).