Традиционные метрики безопасности для ИИ-ассистентов в сфере биологии двойного назначения — все эти проценты отказов и успешные «джейлбрейки» — окончательно перестали отражать реальные риски. Исследование Дипеша Тхару Махато из Нью-Йоркского университета доказывает: оценивать базовую модель в изоляции бессмысленно. Критически важно не то, как веса нейросети реагируют на запретные слова, а то, как пользователь взаимодействует со всем стеком внедрения, включая промпты и внешние уровни контроля. Система, которая блокирует любой запрос, бесполезна для науки; система, поддающаяся на манипулятивное переформулирование — смертельно опасна.
Смещение фокуса на условия доступа
Автор переносит фокус с «голых» моделей на условия доступа. Главный вопрос теперь звучит так: сохраняет ли защитный слой полезность инструмента для легальных исследований, реально снижая при этом возможность совершения вредоносных действий? Для этого Махато представил протокол «safeguard-conditioned uplift», который измеряет границу полезности и риска (utility-risk frontier) на примере 108 суррогатных задач. Слепой аудит с участием экспертов показал, что внешние фильтры снижают риск деструктивных действий лишь на незначительные доли (–0.063) относительно стандартных полезных промптов.
Эффективность защиты должна определяться движением «рабочей точки» между полезностью и риском, а не примитивным подсчетом заблокированных ключевых слов.
Сравнение Claude и Gemini
Выяснилось, что универсального решения не существует. Защитный промптинг лучше всего работает для Claude, в то время как внешние системы контроля больше помогают Gemini, но ценой резкого падения качества ответов на легитимные запросы. На наш взгляд, это классическая дилемма: либо вы строите неприступную, но бесполезную крепость, либо оставляете калитку открытой для любого, кто умеет правильно и вежливо просить.
Главное для бизнеса
Для технических директоров и топ-менеджмента в биотехе это означает смену парадигмы:
Нельзя полагаться на стандартные бенчмарки безопасности: частота отказов — крайне слабый индикатор реальной защищенности. Вашей метрикой должна стать дельта между продуктивностью легального исследования и доступностью пошаговых инструкций по созданию патогенов. Оценивайте весь стек развертывания ИИ как единое целое, так как именно взаимодействие модели с ее контрольными слоями определяет ваш реальный уровень безопасности, а не маркетинговые обещания разработчиков.