Желание спрятать веса моделей и промпты клиентов в «черный ящик» аппаратного шифрования — затея правильная, но чертовски дорогая. Свежий бенчмарк от инженеров Mozilla (Вэй Ван, Абдул Хай Вакас и Бернс Смит) наглядно показывает, что за безопасность данных придется расплачиваться не только деньгами, но и деградацией пользовательского опыта. Исследователи прогнали Mistral-7B и Qwen3-30B-A3B через одну NVIDIA H100 80GB в конфиденциальном инстансе Intel TDX, и цифры выглядят отрезвляюще для любого технического директора.
Результаты замеров фиксируют прямую корреляцию между уровнем паранойи и задержками. При фиксированной нагрузке среднее время до получения первого токена (TTFT) подскочило на 21,8% для легкой Mistral-7B и на внушительные 27,8% для Qwen3. Общая пропускная способность тоже просела: на 17,7% и 21,1% соответственно. Иными словами, включая конфиденциальные вычисления (Confidential Computing), вы добровольно отрезаете пятую часть мощности своего графического процессора, просто чтобы данные не утекли за пределы доверенной среды.
Главное в цифрах
Среднее время отклика (TTFT) увеличивается на 22–28%. Пропускная способность падает в среднем на 20%. Эффект «насыщения» в защищенном режиме наступает значительно раньше.
Эксперименты с закрытым циклом параллельных запросов подтверждают: разрыв в производительности колеблется между 11,5% и 20,2%. Самое неприятное — это эффект насыщения. Модели в защищенном режиме достигают своего предела гораздо раньше: добавление новых запросов перестает масштабировать пропускную способность, просто превращая очередь в бесконечное ожидание.
Накладные расходы на шифрование — это не фиксированный разовый платеж, а прогрессивный налог, который растет вместе с размером модели и объемом трафика.
По итогам теста становится ясно: тем, кто планирует переезд в защищенное облако, придется закладывать в бюджет избыточные вычислительные ресурсы. Пока индустрия не оптимизирует передачу данных между TDX и GPU, конфиденциальность останется дорогой игрушкой для финтеха и госсектора, готовых терпеть тормоза ради спокойствия юристов.