Эпоха, когда для запуска серьезных нейросетей требовалась серверная стойка или бюджет небольшой страны на видеокарты, официально закрыта. Стартап PrismML выкатил Bonsai 27B — экстремально «похудевшую» версию модели Qwen3.6-27B. Главный трюк здесь в бинарном квантовании: веса модели ужали до 1,125 бита. В исходном состоянии этот цифровой монстр требует 54 ГБ памяти, превращая любой смартфон в бесполезный кремниевый кирпич. Инженеры PrismML упаковали его в 3,9 ГБ — теперь 27 миллиардов параметров комфортно чувствуют себя в памяти iPhone 17 Pro Max, оставляя простор для контекста в 262 тысячи токенов и работы визуального энкодера.
Внутренняя кухня проекта куда интереснее маркетинговой мишуры. В отличие от стандартных 2-битных сборок, которые катастрофически глупеют на длинных дистанциях, Bonsai удерживает 90% когнитивных способностей оригинала за счет использования FP16-множителей для групп весов. Синтетические тесты на математику и код показывают минимальную просадку. Впрочем, без жертв не обошлось: агентские функции и вызов инструментов просели до 66 пунктов. На выходе мы получаем полностью автономный узел, способный анализировать скриншоты и рассуждать без связи с внешним миром, расплачиваясь за это скоростью в 11 токенов в секунду. Для чат-бота — неспешно, для фонового агента, перемалывающего ваши приватные данные в тишине кармана — более чем достаточно.
Для бизнеса это не просто обновление софта, а смена парадигмы: смартфон перестает быть убогим терминалом для доступа к чужим мощностям. Несмотря на естественную сырость релиза и жалобы пользователей Android на периодические галлюцинации, вектор задан бесповоротно. По словам Бабака Хассиби, CEO PrismML, технологией уже заинтересовалась Apple. Если это станет стандартом, корпоративные данные наконец-то перестанут утекать за периметр личных устройств. Это не только прямая экономия на оплате облачных счетов, но и фундамент для тотальной приватности, которую невозможно симулировать маркетинговыми лозунгами.
Прорыв PrismML доказывает: локальный запуск тяжелых LLM — это вопрос изящной математики, а не бесконечной закупки железа. Мы входим в фазу, где владение моделью становится таким же персональным и безусловным, как владение файлом на жестком диске. Готовьтесь к тому, что ваши будущие корпоративные ассистенты будут жить в девайсах сотрудников, а не в отчетах о расходах на Azure или AWS.