Когда из 67 размеченных материалов лишними для блога оказались 28, на каждый из них Claude Sonnet тратил лимит впустую.
В небольшом конвейере, где раз в сутки скрипт забирает новые данные, а Claude Sonnet пишет по каждому материалу разбор-инструкцию, каскадная архитектура с дешевым классификатором решает проблему исчерпания лимитов дорогих LLM на нефильтрованном потоке. Проблема в том, что в избранное сохраняется всё подряд: полезные гайды, рабочие сообщения, личные заметки и изображения без единого слова. Когда недельный лимит заканчивается посреди рабочей недели и вся система останавливается, требуется дешевое средство отсеивания мусора до обращения к тяжелой модели.
Дешёвый классификатор на входе
Для отсеивания информационного мусора перед тяжелой моделью применяется специализированная модель Jev, выпустившая стартап TypeSafe 15 сентября 2026 года. Инструмент создан для закрытых вопросов: система принимает текст и словарь вопросов, а на выходе возвращает значения с вероятностями вместо текстового абзаца. Вход стоит $0,042 за миллион токенов, выход бесплатный ввиду отсутствия генерируемого текста.
Вход стоит $0,042 за миллион токенов, выход бесплатный, потому что текста на выходе нет.
Модель доступна в Cloudflare Workers AI под идентификатором typesafe/jev с пометкой Zero data retention. Точность модели Jev составляет около 68%, что создает риск отсева полезных материалов вместе с мусором. Согласно замерам TypeSafe, ответы Jev совпадают с эталоном из больших моделей примерно в двух случаях из трёх.
Тонкая настройка вопросов
Эффективность фильтрации данных напрямую зависит от точности формулировки вопросов и причин для отказа. Первоначальный общий вопрос вроде «это полезный факт?» на размеченном наборе дал AUC 0,46, оказавшись хуже случайного угадывания. С указанием конкретной причины отказа AUC вырос до 0,95.
На пороге 0,2 модель не отсеяла ни одного полезного материала и удалила 10 из 28 ненужных. На пограничных решениях выше 0,72–0,77 поднять показатели не удалось, и там фильтр применим лишь как осторожный предварительный барьер.
Каскадный подход с дешёвыми классификаторами перестает быть абстрактным экспериментом при столкновении с лимитами рабочей среды. Жесткая экономия на токенах достигается за счет точной инженерии промптов для первичной модели.
Как менялась картина
Счета за вызовы тяжелых нейросетей перестают расти бесконтрольно, как только перед ними появляется жесткий и дешевый входной фильтр. Еще в конце июля стало ясно, что переплата за избыточный интеллект моделей превращается в системную проблему для бизнеса при оптовых закупках. Простой классификатор Jev по четыре цента за миллион токенов отсекает явный мусор и бережет лимиты Claude Sonnet, хотя при точности около 68% выстраивать промпты приходится ювелирно. Каскадная архитектура наконец переводит экономию токенов из теоретических расчетов в работающую инженерную рутину.
Наши материалы: Экономика AI: как снизить затраты на LLM в 70 раз (21 июля).