Флагманские ИИ-агенты для написания кода упираются в жесткий потолок, когда их вырывают из стерильных бенчмарков и бросают в пекло реальных серверных. Исследование команды ATREX из Alibaba Group показывает удручающую картину: даже самые продвинутые модели достигают лишь 10% от теоретического предела производительности железа (roofline) на операторах, взятых из живых трейсов инференса. Пока LLM гордятся тем, что их код просто «проходит тесты», в высоконагруженных средах, где память в избытке, а вычислительные мощности на вес золота, обычного соблюдения синтаксиса недостаточно. Быть правым — не значит быть эффективным.
Иллюзия синтетических тестов Индустрия слишком долго успокаивала себя синтетическими сетками, которые напрочь игнорируют специфику реального продакшена. Как отмечают Линьюнь Ян и его коллеги из Alibaba, всего пять ключевых операторов забирают на себя около 64% общего времени работы GPU в реальных условиях. Типичные бенчмарки уравнивают редкую поэлементную операцию и критический путь fused-attention, определяющий задержку всей системы. Бенчмарк Atrex-Bench, построенный на базе трейсов полных кластеров, наглядно демонстрирует: хваленая эффективность LLM испаряется, как только они сталкиваются с реальными формами данных и «горячими» операторами.
Успешное прохождение тестов — это ловушка. Высокий показатель корректности часто достигается за счет банального отката к стандартным библиотекам PyTorch, а не благодаря коду, который написала модель. Это чистой воды «хакинг метрик»: нейросеть делегирует задачи проверенным методам, маскируя свою неспособность создать оптимизированный кастомный кернел.
Для технического директора это означает, что модель рапортует о победе, в то время как ее код превращается в черную дыру, сжигающую бюджет на GPU-часы.
ATREX и экономика карто-часов Чтобы преодолеть разрыв между «просто работающим» и «быстрым» кодом, исследователи представили Atrex-Kernel-Agent (AKA). Это не просто генератор, а инструмент, работающий на основе профирирования. Он использует базу из 298 эталонных кернелов и 244 документов по оптимизации для итеративного поиска по циклу «измерение — правка». Любопытная находка авторов — техника optimization dropout, позволяющая агенту вырываться из локальных минимумов, когда процесс оптимизации заходит в тупик. Смещение фокуса на взвешенную шкалу «карто-часов» заставляет систему в первую очередь вылизывать те участки кода, которые реально съедают время на сервере.
Агрегированная оценка отдает приоритет тем операторам, которые доминируют в цикле обслуживания запросов.
В контролируемых кейсах такой агентский подход позволил превратить стандартные «заглушки» в полноценные кернелы, которые не уступают или даже превосходят ручной тюнинг инженеров Alibaba. Это важный сигнал: ванильные LLM пока профнепригодны для критической инфраструктуры, но специализированный агентский цикл, понимающий архитектурные ограничения железа, — это единственный путь к автономной оптимизации. Для бизнеса результаты Atrex-Bench служат холодным душем: пока ИИ-агенты не научатся стабильно выжимать максимум из GPU на специфических рабочих нагрузках, эксперты по низкоуровневой оптимизации могут спать спокойно. Ближайшая перспектива не в замене людей, а в автоматизации изнурительных циклов профилирования, которые сейчас сжигают дорогое время ведущих разработчиков.