В четверг на конференции для разработчиков компания Box представила новую функцию, которая интегрирует систему эмбеддингов Nvidia Nemotron непосредственно в ядро своего продукта.
Архитектура под названием Box Content Retrieval ориентирована на оптимизацию юнит-экономики автономных корпоративных ИИ-агентов. По заявлениям Box, обновление обеспечивает более быстрое, точное и дешевое выполнение запросов за счет использования векторных метаданных, сформированных моделью Nemotron. Прямая передача предварительно обработанных векторных представлений в корпоративные хранилища избавляет ИИ-агентов от необходимости загружать избыточные массивы документов в контекст, сокращая регулярные затраты на инференс в корпоративной инфраструктуре.
Сокращение расхода токенов и задержек поиска
Экономика развертывания ИИ-агентов напрямую зависит от эффективности инференса и точности поиска данных. Крупные лаборатории часто игнорировали модели эмбеддингов, которые используют LLM для предобработки данных с целью их последующего автоматического извлечения агентами. Проект открытых моделей от Nvidia сфокусирован именно на этом направлении: июльский релиз Nemotron занял первую строчку в бенчмарке качества поиска RTEB. Как сообщила изданию TechCrunch вице-президент Nvidia по программному обеспечению для генеративного ИИ Кари Бриски, партнерство позволит ускорить обработку запросов в 4 раза, снизить количество ошибок на 20% и сократить потребление токенов на 90%.
«Вместо того чтобы агент прочитывал каждый документ целиком, мы можем возвращать именно те фрагменты файлов, которые наиболее релевантны запросу пользователя или текущей задаче агента».
Как объяснил CEO Box Аарон Леви, такое точечное разделение на фрагменты не дает программным агентам обрабатывать файлы целиком, напрямую ограничивая расход вычислительных ресурсов в непрерывных рабочих процессах. В прикладных сценариях, таких как юридические исследования, эмбеддинги Nemotron сопоставляют глубинные концепции, а не опираются исключительно на поиск по ключевым словам. Это позволяет инструментам поиска находить нужные пункты договоров и прецеденты, даже если в исходных документах использованы другие формулировки или термины.
Проприетарный барьер вокруг открытых весов
Ключевой стратегический вопрос заключается в том, смогут ли конкуренты повторить эти показатели производительности без платформы Box. Поскольку модели Nvidia Nemotron находятся в открытом доступе, любая команда разработчиков теоретически может бесплатно использовать лежащую в их основе архитектуру эмбеддингов.
«Мы упаковали, вероятно, пять различных технологий в один простой API».
Однако, как отметил Аарон Леви, решение объединяет пять различных технологий в едином простом API. Система критически опирается на уже существующие метаданные и механизмы разграничения прав доступа Box, что создает операционный барьер для сторонних разработчиков, пытающихся воспроизвести аналогичную инфраструктуру с нуля. Запуск функции для всех клиентов тарифа Box Enterprise Advanced запланирован на начало следующего года.
Приведет ли распространение моделей с открытыми весами вроде Nemotron к коммодитизации корпоративного векторного поиска, или же зрелые архитектуры контроля доступа, как у Box, сохранят за проприетарной инфраструктурой данных статус главного узкого места при корпоративном внедрении ИИ?
Как менялась картина
Раньше корпоративным агентам приходилось раз за разом прогонять через контекст гигантские массивы неструктурированных документов, а теперь Box встраивает векторные метаданные Nvidia Nemotron прямо в ядро хранилища. Сами по себе веса открытых моделей доступны бесплатно любому разработчику, но готовая обвязка из пяти технологий и встроенный контроль прав доступа создают для самописных решений серьезный барьер. Это превращает зрелую инфраструктуру хранения в фильтр, отсекающий лишние вычисления еще до отправки запроса в сеть. Партнерство обещает срезать потребление токенов сразу на 90%.
Наши материалы: NVIDIA Nemotron 3.5: новый стандарт безопасности ИИ (12 июня).