Массовое внедрение автономных ИИ-агентов в критические бизнес-процессы замерло в «юридическом вакууме». Пока разработчики моделей прикрываются дисклеймерами об отказе от ответственности за любой косвенный ущерб, бизнес остается один на один с потенциально необратимыми убытками. Если агент в порыве «галлюцинации» решит зачистить корневую директорию или переписать критический код — а такие кейсы уже зафиксированы исследователями Волаком и Крейном — платить будет заказчик. Чтобы не обанкротиться на ровном месте, компании вынуждены держать людей на контроле (human-in-the-loop), что фактически убивает весь экономический смысл автоматизации.
Бинъянь Сюй, Силинь Дай и их коллеги из Китайского университета Гонконга и Чжэцзянского университета уверены: проблема не в «глупости» нейросетей, а в неверном подходе к страхованию. Традиционные страховые пулы здесь бессильны, так как одна и та же модель в разных руках — это радикально разные риски.
Квантификация риска на уровне эпизода
Исследователи предлагают модель Trace-Economic Underwriting, которая переносит единицу риска с абстрактного «продукта» на конкретный эпизод взаимодействия клиента, задачи и траектории (trace) действий агента. Вместо того чтобы гадать на кофейной гуще, система анализирует использование конкретных инструментов и сопоставляет их с возможным финансовым ущербом. Данные исследования показывают, что такой точечный андеррайтинг снижает среднюю абсолютную ошибку (MAE) при расчете страховой премии с 17,7 тысячи до 569. Это устраняет «регрессивное перекрестное субсидирование», когда осторожные пользователи годами оплачивают факапы рисковых экспериментаторов.
Ответственность ИИ — это не типичный риск продукта. Это совокупная производная от контекста клиента, сложности задачи и конкретной траектории действий системы.
Вместо субъективных оценок «ИИ-судей» модель использует детерминированные экономические маркеры. Экспертный аудит 300 эпизодов подтвердил жизнеспособность подхода: люди согласились с оценками системы в 295 случаях. Для руководства компаний это означает трансформацию «черного ящика» ИИ в прозрачный реестр потенциальных страховых требований. Появляется понятный порог автономности: точка, в которой ожидаемая прибыль от задачи превышает сумму страховой премии, затрат на контроль и остаточного риска.
Путь к прибыльной автономности
Чтобы сделать автономию рентабельной, модель использует триггеры вмешательства человека только там, где риск зашкаливает. Тесты на базе SWE-smith (тысяча реальных траекторий разработки ПО) показали, что такой выборочный контроль снижает показатель ожидаемых убытков (CVaR95) на 72%. Это превращает человеческий надзор из «налога на производительность» в хирургический инструмент для работы с аномалиями.
Математический мост между ИИ-инженерией и корпоративным риск-менеджментом наконец построен, но у него есть свои ограничения. Модель работает только в условиях ограниченных прав доступа и четко определенных ролей; для «универсальных агентов» с неограниченными правами адекватных траекторий сравнения пока нет. Сокращение риска на 72% — это впечатляющий результат, но оставшиеся 28% и проблема необратимых операций всё еще требуют покрытия страховой премией. Для бизнеса вывод очевиден: путь к полной автономии лежит не через бесконечную полировку точности модели, а через жесткую экономическую оценку ее неизбежных провалов.