Пока техгиганты строят циклопические дата-центры, Spheroid Labs предлагает архитектурный подкоп под их монополию. Протокол BlockTrain — это попытка перенести обучение передовых Frontier-моделей из стерильных серверных на «дикий» рынок децентрализованных вычислений. По словам Питера Тота из Spheroid Labs, решение позволяет разбивать нейросеть на независимые блоки, которые обучаются локально и не требуют постоянной синхронизации всего кластера. Это прямой вызов гиперскейлерам, чей бизнес держится на тотальном контроле над дефицитным оборудованием.
Техническая изящность BlockTrain в том, что он избавляет от необходимости гонять гигабайты данных для синхронизации оптимизаторов. Каждый узел работает над своей локальной задачей, выведенной из общей цели. Эксперименты на наборе данных WikiText подтверждают жизнеспособность затеи: одиночный воркер с парой гигабайт видеопамяти показал кросс-энтропию 1,359. Для сравнения, эталонный трансформер при сквозном обучении выдал 1,32. Разрыв минимален, зато порог входа обрушен: теперь для создания серьезного ИИ не нужен пропуск в закрытый клуб владельцев H100 — достаточно парка потребительских GPU.
«Система позволяет создавать сложные нейросети, используя вычислительные мощности обычных пользователей, что радикально меняет экономику разработки ИИ».
Инференс в BlockTrain тоже пересобран с нуля. Как объяснил Питер Тот, система использует метод одного прохода (one-sweep serving), который выдает всю последовательность за один цикл передачи данных по WAN-сетям. Это в корне отличается от традиционного метода «один токен за одну итерацию», который превращает распределенные вычисления в бесконечное ожидание ответа от сети. В ходе тестов на публичных IP-адресах система успешно обработала модель с логической структурой в 75,8 млрд параметров, доказав, что децентрализованная инфраструктура способна к масштабированию.
На наш взгляд, это важный прецедент архитектурного арбитража. В ходе реального запуска по открытой сети было передано 15,22 ГБ данных, что позволило улучшить кросс-энтропию с 5,580 до 1,811. Это не просто академический курьез, а работающий путь обучения ИИ вне стен корпоративных центров обработки данных. Если BlockTrain докажет свою стабильность, эпоха безусловного доминирования облачных гигантов может закончиться быстрее, чем они успеют окупить свои текущие вложения в инфраструктуру.
Снижение зависимости от дефицитных чипов NVIDIA H100. Возможность обучения моделей на потребительских видеокартах через обычный интернет. Эффективный инференс благодаря методу одного прохода. Масштабирование до моделей объемом более 75 млрд параметров.