Два года корпоративные финансовые модели строились на наивной догме: достаточно переждать квартал, и стоимость генерации токенов упадет сама собой благодаря закону Мура и софтверной магии. Считалось, что новые поколения ускорителей автоматически окупят интеграцию неповоротливых LLM в любой бизнес-процесс. В августе эта иллюзия разбилась о суровую экономику инференса.
Лаборатория DeepSeek, ранее демпинговавшая рынок, первой среди крупных игроков пошла на резкий шаг: подняла тарифы на API в пиковые часы сразу на 355–371% и включила динамическое ценообразование по времени суток. Следом индустрию накрыла волна открытых моделей на 1,7 и 2,4 триллиона параметров от китайских разработчиков. В репозиториях эти веса выглядят эффектно, но при попытке локального развертывания превращаются в черную дыру для бюджета.
Дорогой кремний Micron и физический предел
Причину смены парадигмы наглядно объяснили инженеры на конференции Hot Chips в Стэнфорде. Главный вывод докладов неутешителен: вычислительные мощности уперлись в пропускную способность памяти и сетевую задержку. Индустрия тратит основные ресурсы не на вычисления, а на банальную пересылку данных между чипами.
В двухкристальных GPU-сборках память занимает около 90% площади кремния и стоит впятеро дороже standard DDR5 в пересчете на бит.
Как следует из отчета Micron, кремний фактически уходит под буферы, почти не оставляя места для вычислительных блоков. Производство таких ускорителей обходится астрономически дорого, что ставит крест на ожиданиях быстрого удешевления физической инфраструктуры.
Архитектурные ответы гигантов
Производители чипов пытаются обойти тупик памяти усложнением инженерных систем. NVIDIA представила стойку Vera Rubin NVL72: в масштабе сети DSX заявлены 2 ZFLOPS на инференсе (в формате NVFP4), 11 ПБ памяти HBM4 и интерконнект NVLink 6 с пропускной способностью 3,6 ТБ/с на GPU. Вычислительные лотки полностью лишены вентиляторов и охлаждаются 45-градусной водой без использования чиллеров, а сетевые карты ConnectX-9 выдают до 1600 Гбит/с на ускоритель.
AMD противопоставила этому чиплетный ускоритель MI455X с 432 ГБ памяти HBM4 и полосой 23,3 ТБ/с, объединив 72 графических процессора в стойке Helios на процессорах EPYC Venice. Google в архитектуре TPU v8 разделила специализацию: чип v8t с шестью стеками HBM заточен под обучение, а v8i с восемью стеками HBM и увеличенной SRAM — исключительно под инференс. Meta показала решения MTIA 300 и MTIA 400, где старшая версия использует восемь стеков HBM3e и шину Ethernet на 1,2 ТБ/с.
Для бизнеса это означает одно: эпоха дармовых токенов закрыта. Финансовым и техническим директорам пора прекратить закладывать автоматическое падение костов в юнит-экономику, провести жесткий аудит контекстных окон и заменить монструозные универсальные модели узкоспециализированными решениями.