Компания LangChain представила публичную бета-версию LangSmith LLM Gateway. Это runtime-прокси, который размещается непосредственно между автономными цепочками ИИ-агентов и провайдерами базовых моделей для перехвата нежелательных запросов в реальном времени. Инструмент решает две ключевые проблемы корпоративного внедрения LLM: превентивное маскирование персональных данных (PII) и упреждающее ограничение расходов, которое заменяет запоздалый аудит логов постфактум.
Архитектуры автономных агентов при работе в продакшене регулярно дают сбои, приводя к финансовым и репутационным рискам. Агенты-разработчики, попав в бесконечный цикл самоисправления, способны за одну ночь незаметно сгенерировать четырехзначные счета за облачные вычисления. В то же время системы взаимодействия с клиентами рискуют отправить конфиденциальные данные пользователей во внешние сервисы. Новый шлюз прерывает бесконечные запуски, возвращая явную ошибку 402 при превышении лимитов бюджета, и вырезает персональные данные до того, как запрос покинет корпоративный периметр. Команды могут гибко настраивать жесткие лимиты на уровне всей организации, рабочего пространства, отдельного пользователя или API-ключа.
Для интеграции достаточно изменить целевой параметр `base_url` в клиенте на эндпоинт прокси LangSmith и передать управление ключами доступа в защищенное хранилище рабочего пространства. Что немаловажно, заблокированные вызовы и нарушения политик отображаются как нативные события внутри существующих трейсов LangSmith. Это позволяет встроить соблюдение правил безопасности и контроля расходов прямо в процессы отладки, избавляя от необходимости развертывать отдельную платформу для комплаенса.