IBM выпустила Granite 4.0 Nano — крошечные версии своих больших языковых моделей. Цель — заставить ИИ работать не в дата-центрах, а прямо на периферии и на ваших устройствах. По сути, IBM говорит: вам не нужны гигантские модели с сотнями миллиардов параметров для многих задач.
Эти малыши, с вариантами на 1.5 миллиарда и даже 350 миллионов параметров, обучены на 15+ триллионах токенов с применением новых методик. И главное — они свободны по лицензии Apache 2.0 и дружат с популярными средами вроде vLLM и llama.cpp. Это прямой вызов моделям, пожирающим ресурсы.
Зачем это вам? IBM предлагает бизнесменам перестать зависеть от дорогих облаков. Запускать ИИ локально — значит снизить затраты на инфраструктуру и сделать интеграцию куда более доступной. Ждите новых умных мобильных приложений и периферийных решений, которые не будут утекать в облака, а станут частью вашего устройства. Это шаг к более дешевому и приватному ИИ, доступному даже тем, кто пока не готов тратить миллионы на GPU.