ServiceNow, похоже, решила, что корпорации сами не справятся с контролем над умнеющими языковыми моделями. Представив AprielGuard, компания предлагает решение за $8 млрд, которое обещает защитить от 16 видов рисков безопасности. И это не только про банальные промпт-инъекции и джейлбрейки, но и про более изощренные атаки — например, манипуляции с инструментами.
На фоне того, как LLM превращаются из простых чат-ботов в самостоятельных агентов, которые могут выполнять задачи и обращаться к внешним системам, такой инструмент выглядит не просто полезным, а жизненно необходимым. Ведь кому нужен AI, который решает задачи, но по пути устраивает корпоративный апокалипсис?
ServiceNow предлагает AprielGuard в двух режимах. Первый — для тех, кто любит копаться в причинах срабатывания (привет, службы безопасности и аудиторы!). Второй — для продакшена, где важна скорость и бесперебойная работа. Таким образом, ServiceNow дает корпорациям инструмент, позволяющий сохранить хотя бы видимость контроля над своими «цифровыми сотрудниками» и снизить риски от их, скажем так, непредсказуемого поведения.