Разрыв в производительности между сверхбыстрой памятью с высокой пропускной способностью (HBM) и медлительными корпоративными SSD давно стал «секретом Полишинеля» в индустрии. Именно это узкое место превращает масштабирование больших языковых моделей (LLM) в дорогостоящее и зачастую бессмысленное занятие. В то время как HBM обеспечивает колоссальную скорость, её астрономическая стоимость и физические ограничения емкости вынуждают архитекторов инфраструктуры бездумно наращивать парк GPU только для того, чтобы разместить веса моделей. SK hynix и Western Digital (SanDisk) наконец предпринимают попытку разорвать этот порочный круг, представляя High Bandwidth Flash (HBF). Это не просто очередной уровень хранения данных, а стратегический архитектурный слой между оперативной памятью и долгосрочным хранилищем. Технология предполагает вертикальную компоновку 8 или 16 слоев NAND-кристаллов, создавая резервуар объемом 512 ГБ, который предотвращает истощение видеопамяти (VRAM).
Преодоление пропасти между памятью и хранилищем
Технические характеристики HBF превращают подсистему хранения из пассивного кладбища данных в активного участника вычислительного цикла. Обеспечивая пропускную способность от 0,4 ТБ/с до внушительных 3 ТБ/с, стандарт позволяет эффективно разгружать GPU, что раньше было технически невозможно. Эта архитектура нацелена на решение «проблемы 500 миллиардов параметров», когда веса модели превышают экономически оправданный порог использования HBM. Используя плотную память NAND вместо энергозатратной DRAM, SK hynix и SanDisk предлагают способ работы с массивными моделями без линейного и разорительного увеличения количества дорогостоящих модулей памяти.
SK hynix «расширит границы между памятью и хранением данных и внесет вклад в создание новых архитектур, повышающих общую эффективность системы», — пояснил Ким Чун Сон, руководитель отдела разработки решений SK hynix.
Этот сдвиг в сторону системной эффективности подкреплен поддержкой спецификации Universal Chiplet Interconnect Express (UCIe). Для технического директора это самая важная деталь: UCIe позволяет HBF напрямую взаимодействовать с различными центральными и графическими процессорами. Теоретически это предотвращает привязку к конкретному поставщику, которая обычно сопутствует проприетарным интерфейсам, сохраняя при этом низкую задержку, необходимую для инференса в реальном времени.
Экономика стратегии инференса
Стратегический альянс SK hynix и SanDisk — это прозрачная попытка захвата территории: стремление установить рыночный стандарт до того, как доминирующие титаны аппаратного обеспечения, такие как NVIDIA, монополизируют весь стек. Пока Samsung развивает собственные CMX-решения и амбициозные проекты 500-слойной NAND, стандарт HBF фокусируется на немедленной прагматичной интеграции через установленные протоколы чиплетов. Для бизнеса это означает прямое снижение совокупной стоимости владения (TCO) инфраструктурой для работы нейросетей. Вместо покупки дополнительных ИИ-ускорителей только ради наращивания объема HBM, организации могут оптимизировать иерархию памяти: критически важные данные остаются в HBM, а высокоскоростной канал HBF берет на себя остальное. Если этот стандарт приживется, эпоха закупки GPU для использования их в качестве неоправданно дорогих планок оперативной памяти может наконец закончиться.