Разница между 0.70 и 0.71 макро-F1 на выборке из 145 реальных документов показала, что модель Qwen2.5-1.5B способна извлекать юридические сущности на уровне Ministral 3 14B. Для инфраструктурного бюджета это означает возможность отказаться от постоянного расширения парка дорогих ускорителей. На A5000 компактная модель разбирает документ в 2.2 раза быстрее, чем Ministral на A100.
Переход на компактные специализированные модели позволяет сократить затраты на аппаратное обеспечение без потери качества бизнес-логики. В legaltech-сегменте эта задача упирается в жесткие ограничения: юристы не могут отправлять материалы дел во внешние облачные сервисы через API. На кону стоит распределение дефицитной видеопамяти GPU между клиентским диалоговым интерфейсом и фоновым извлечением сущностей из входящих массивов данных. Какая конфигурация локального оборудования позволяет разбирать тысячи документов без остановки клиентских сервисов?
Адвокатская тайна и дефицит памяти
В арбитражной практике одно дело часто включает тысячи страниц, из которых требуется структурировать факты, даты и финансовые требования.
Изначально с этой задачей справлялась Ministral 3 14B на арендованной плате A100, тратя на один документ в среднем около 33 секунд. Эту же модель применяли и для клиентского чата. Проблема возникла, когда модель чата поменяли на Gemma 4 28b: она отъедает практически всю A100. Запуск одновременного разбора крупного пакета файлов приводил к риску остановки обслуживания пользователей.
Отправить вычисления в публичные облачные API компании не могут из-за регуляторных и юридических барьеров.
Материалы дела для юриста — это одновременно адвокатская тайна, коммерческая тайна клиента и персональные данные десятков людей.
Как отметил вице-президент Федеральной палаты адвокатов Сергей Зубков в интервью РАПСИ, главным риском применения ИИ для адвокатов остается утечка тайны. Единственным выходом остается локальное развертывание (on-premise), где критичен каждый гигабайт памяти.
Специализация вместо масштабирования
Главное сомнение при переходе на компактные архитектуры связано с риском потери точности на сложных юридических конструкциях. Сущности разбили на девять классов: стороны спора (participant), реквизиты (document), договоры (contract), предмет спора (object), исполнение (performance_event), платежи (payment_event), нарушения (breach_event), убытки (damage) и переписка (communication).
Каждый класс извлекается отдельным вызовом, формируя девять вопросов к каждому документу. Как инженеры решили проблему качества без аренды второй дорогой карты A100?
Ответом стало дообучение открытой архитектуры Qwen2.5-1.5B с LoRA-адаптером под конкретные контракты и судебные акты. Датасет составили 5 500 настоящих документов из реальных дел, полученных с согласия клиентов.
Типичный документ короткий: медиана — 2 380 символов, меньше полутора страниц, а больше трёх тысяч документов умещаются на одной странице.
При этом самые длинные 10% документов содержат 61% всего суммарного текста выборки.
Погоня за универсальными тяжелыми моделями для закрытого контура часто упирается в простую математику аренды серверов. На практике оказывается, что решение на карте уровня A5000 обгоняет крупную систему на A100 более чем вдвое, сохраняя точность структурирования данных.
Для сравнения
Разрыв всего в 0.01 макро-F1 между компактной сетью на полтора миллиарда параметров и тяжелой моделью на 14B наглядно показывает реальную цену универсальности. Платить за гигантские модели ради базового извлечения фактов оказывается попросту избыточно, когда специализированный адаптер выдает тот же результат без аренды второй дорогой A100. В итоге погоня за крупными моделями в закрытом контуре разбилась о простую настройку адаптера под конкретные юридические акты.
Наши материалы: Legal RAG: как скрытая инфляция расходов снижает экономию до 30% (26 марта); Qwen3-0.6B vs Llama-3.2-1B: эффективность малых LLM в бизнесе (7 июля); Локальные SLM против облачного ИИ: рентабельность для бизнеса (21 июля); InternLM представила модель 4B для снижения затрат на ИИ (27 сентября).