Автономные ИИ-агенты оказались заложниками собственной «морали». Исследователи из Tracebit наглядно продемонстрировали, что защитные барьеры (guardrails), призванные сделать модели безопасными, превращаются в идеальное оружие против них самих. Стратегия, получившая название «контекстная бомбардировка» (context bombing), использует вредоносные инструкции-ловушки, внедренные прямо в учетные данные AWS.
Механика изящна в своей простоте: защитники размещают запрещенные промпты рядом с чувствительными данными, например, криптографическими ключами. Как только атакующий агент считывает такой «медонос» (honeypot), срабатывает внутренний фильтр этики. Столкнувшись в контексте с требованием разработать биооружие или упоминанием политически табуированных тем, модель мгновенно переходит в режим отказа. Вместо того чтобы продолжать взлом, ИИ парализует сам себя, отвечая стандартным «я не могу это выполнить».
По словам СЕО Tracebit Энди Смита, это создает резкий эффект блокировки, от которого агентам крайне трудно оправиться.
В ходе тестов в симулированной среде AWS, где проверялись модели Claude 3 Opus, Gemini 1.5 Pro, GPT-4o и другие (включая китайские GLM и Kimi), результаты оказались разгромными:
В 152 тестовых запусках одна-единственная текстовая ловушка снизила вероятность захвата полных прав администратора с 57% до ничтожных 5%. Флагманская модель Opus, которая в обычных условиях забирала админский доступ в 93% случаев, при встрече с «контекстной бомбой» обнулила свою эффективность.
Для бизнеса это тревожный сигнал. Если обычная строка текста способна гарантированно «сломать» самые продвинутые LLM, то надежность любых корпоративных агентов, работающих с нефильтрованными внешними данными, сегодня стремится к нулю. Техлидам стоит признать: хваленые этические фильтры — это обоюдоострый меч. Противник может использовать их, чтобы выводить из строя легитимную автоматизацию так же легко, как это делают безопасники с хакерами. Мы вступили в эпоху, где встроенная «безопасность» стала главной архитектурной уязвимостью системы.