В декабре 2023 года Альберт Гу и Три Дао представили архитектуру Mamba, пообещав избавить индустрию от диктатуры трансформеров. Главная претензия к современным LLM — механизм внимания (attention), где каждый токен сверяется с каждым. Математика здесь беспощадна: сложность вычислений растет квадратично. Если вы пытаетесь «скормить» нейросети целую кодовую базу или юридический архив, затраты памяти и времени превращаются в экономическую катастрофу.
В отличие от классических моделей, Mamba базируется на селективных пространствах состояний (SSM). Вместо того чтобы раздувать KV-кэш в видеопамяти до гигантских размеров, модель ведет одно сжатое состояние — своего рода динамическую «сводку» прочитанного. Механика прагматична: на каждый новый фрагмент данных тратится фиксированный объем ресурсов. Общая стоимость обработки растет линейно, а не в квадрате, что позволяет работать с тяжелыми файлами в разы быстрее без потери качества.
Трансформеры не уйдут на покой завтра, но архитектурный барьер очевиден. Там, где стандартные модели «задыхаются» и требуют бесконечных кластеров H100, Mamba сохраняет производительность, не теряя нить повествования. Для бизнеса это означает возможность обрабатывать массивы специфических данных без необходимости оплачивать счета за неэффективные прогоны контекста.
Архитектура Mamba — это не «убийца» GPT, а золотой стандарт для задач, где контекст в 100к+ токенов является повседневной рабочей нормой, а не маркетинговым обещанием. Мы видим реальный потенциал в глубоком анализе кода и автоматизации юридической экспертизы, где объем данных традиционно делал использование AI неоправданно дорогим удовольствием.