Пора признать: попытки защитить большие языковые модели через фильтрацию промптов на входе и выходе напоминают попытки лечить перелом подорожником. Пока индустрия играет в кошки-мышки с «черными ящиками», исследователи из Университета Южной Дакоты и Университета Янчжоу решили наконец заглянуть под капот. Команда Анупама Вагле представила метод механистической интерпретируемости, который превращает хаотичное блуждание сигналов в понятные графы вычислений.
Суть проста и изящна: вместо того чтобы гадать, почему модель вдруг начала выдавать инструкции по сборке бомбы, инженеры теперь могут визуализировать маршрут вредоносного сигнала. Исследование «Mechanistic Interpretability of LLM Jailbreaks via Internal Attribution Graphs» доказывает, что успешный джейлбрейк — это не случайный сбой, а систематический захват вычислительных путей. Адверзальные атаки работают как вирус: они подавляют компоненты, отвечающие за безопасность, и принудительно активируют специфические «атакующие» признаки внутри слоев.
Главное в исследовании:
Сравнивая графы вычислений для «чистых» и атакованных запросов, авторы выявили так называемые «мотивы уязвимости» — повторяющиеся структурные слабости, через которые вредоносные сигналы обходят фильтры выравнивания.
Для технических директоров и руководителей по безопасности это меняет правила игры. Вместо бесконечного дообучения на новых примерах или латания дыр в промптах, появляется возможность проводить целевые вмешательства непосредственно во внутренние узлы и подграфы модели.
Эксперименты на популярных открытых моделях подтвердили: аномалии в структуре этих внутренних графов напрямую коррелируют с небезопасным поведением.
Это значит, что архитектурная защита будущего будет строиться на уровне весов и вычислительных цепей. Мы переходим от гадания на кофейной гуще к глубокой структурной диагностике.
В ближайшее время стек безопасности неизбежно пополнится инструментами, которые мониторят и пресекают «злонамеренное мышление» модели в реальном времени, еще до того, как первый токен попадет на экран пользователя.