Способен ли отказ от стандартного формата JSON в контексте промпта снизить инфраструктурные издержки и предотвратить перехват управления моделью в компактных корпоративных развертываниях?
Большие языковые модели полностью зависят от своего контекстного окна при генерации следующей последовательности токенов. При длительной непрерывной работе в этом контексте накапливаются системные инструкции, история диалога, ответы вызываемых инструментов, пользовательские данные, цепочки рассуждений и указания к извлеченным из баз документам. Инженерная команда линейки IBM Granite указывает, что передача этих сложных структурных массивов через стандартный JSON создает узкое место на системном уровне:
«Формат JSON создавался для парсеров, а не для каузальных языковых моделей».
Поскольку токенизаторы обрабатывают структурные знаки препинания вроде кавычек или двоеточий точно так же, как обычные текстовые символы, модели регулярно сбоят на правилах экранирования и подсчете вложенных скобок. Чтобы устранить это трение, IBM представила две экспериментальные превью-модели — granite-4.1-3b-LLMON-preview и granite-4.1-8b-LLMON-preview. Они построены вокруг LLMON (LLM Object Notation, произносится как «lemon») — специализированного языка разметки для LLM, созданного для прямой передачи структуры и семантики нейросетям.
Структурное разделение внутри контекстного окна
Каким образом изменение базового синтаксиса данных защищает корпоративный конвейер от сбоев при атаках?
Решение заключается в переносе разметки из обычных текстовых токенов в выделенные управляющие сигналы. LLMON функционирует как XML-подобная разметка, чьи структурные разделители представляют собой зарезервированные специальные токены, а не стандартные печатные знаки. Это разделяет управляющие схемы инструкций и полезную нагрузку сообщений по разным словарям. Схемы данных и вложенность определяются локально, поэтому каузальному трансформеру больше не требуется высчитывать баланс скобок на длинных дистанциях текста. Превью-модели поставляются со специальным диалоговым шаблоном, где в репликах отдельные элементы маркируются тегами исполнения: блок с меткой True напрямую связывается с блоком выполнения в конце сгенерированного вывода для указания запускаемой команды, тогда как фрагмент со значением False сохраняется в контексте без вызова. Кроме того, двухсимвольные идентификаторы блоков берутся из фиксированного набора и кодируются токенизатором как единичные токены, что фиксирует накладные расходы на адресацию блока ровно в два токена вне зависимости от объема данных.
Такой архитектурный сдвиг обеспечивает измеримый прирост безопасности. На ряде бенчмарков успешность непрямых промпт-инъекций, скрытых внутри пользовательских данных, снижается практически до нуля при использовании LLMON, тогда как стандартные instruction-модели перехватываются злоумышленниками с высокой вероятностью. При этом превью-модели сохраняют базовый уровень общих способностей базовых версий Granite 4.1 Instruct.
Миграция рабочих конвейеров
Распространенное операционное опасение заключается в том, что переход на специализированный синтаксис потребует полной переработки корпоративной программной инфраструктуры. IBM открыла репозиторий на GitHub с инструментарием для LLMON, примерами архитектуры, шаблонами и конвертерами, выполняющими двусторонний перевод между JSON и LLMON без потерь. Разработчики также могут задействовать формат во фреймворке Mellea, куда нативная поддержка LLMON включена через автоматическое преобразование вызовов моделей.
Ликвидация вычислительных издержек на парсинг за счет нативных токенов-разделителей обеспечивает моделям классов 3B и 8B однозначное разграничение между исполняемыми инструкциями и недоверенными массивами входящих данных. По мере того как бизнес переносит задачи рассуждения с дорогостоящих внешних API на локальные мощности компании, отказ от унаследованных форматов вроде JSON в пользу специализированных схем контекста определит, смогут ли компактные модели стабильно поддерживать сложные многоэтапные процессы без уязвимостей к инъекциям промптов.
На фоне других
Два токена накладных расходов на адресацию блока — это смелая инженерная попытка IBM вылечить родовую травму корпоративных нейросетей через отказ от общепринятых веб-стандартов. В отличие от стандартных instruction-моделей, регулярно ломающихся на балансе скобок и пропускающих промпт-инъекции через пользовательские данные, архитектура LLMON разносит управляющие схемы и нагрузку по отдельным словарям токенизатора. Архитектурную изоляцию кода от данных индустрия вымучивала десятилетиями в обычных базах, но для нейросетей этот рубеж пока открыт исключительно в экспериментальном превью одного вендора.
Наши материалы: IBM Granite 4.0 VLM: ИИ для документов без API-зависимости (10 апреля); IBM Granite 4.2: локальные reasoning-модели для бизнеса (29 августа).