Конвейер Regression Workflow от OpenAI провел более 1700 расследований и выявил первопричины сбоев более чем в 600 инцидентах всего за три с небольшим месяца. В основе процесса лежит Performance Factory — автономная система, использующая Codex и внутренние модели для масштабного поиска и устранения регрессий производительности в облачной инфраструктуре.
Классические инженерные методы управления производительностью перестали справляться с операционными накладными расходами при непрерывной доставке ПО. По данным OpenAI, скорость разработки с применением ИИ сделала привычную инженерию производительности экономически нежизнеспособной: компании пришлось заменить ручной анализ логов автоматизированными циклами, которые устраняют всплески задержек до вмешательства человека.
Ключевая операционная проблема поставщиков крупномасштабного инференса сводится к затратам на оплату труда: инженерный штат невозможно масштабировать линейно количеству алертов из сложных микросервисных архитектур. Ранее для удержания базовых показателей задержки инженерам OpenAI приходилось применять более 30 различных утилит — от мониторинга загрузки CPU до профилировщиков выделения памяти, — чтобы локализовать повторяющиеся просадки метрик, включая задержку выдачи первого токена в ChatGPT.
Переход к автономной диагностике
До интеграции Codex в операционные циклы инженеры OpenAI вручную проверяли метрики и журналы, сопоставляли распределенные трассировки, отлаживали работающие инстансы и вычитывали исходный код, выясняя причины замедления сервисов. Подобная ручная отладка требовала узкой профильной экспертизы по конкретным компонентам, что создавало жесткие операционные заторы. Важные сигналы телеметрии терялись, а каждый инцидент вынуждал старших специалистов тратить часы на работу с разрозненными инструментами.
Для стандартизации этих процессов OpenAI упаковала регламенты команды производительности в общий навык под названием perf-forensics. Он определяет для Codex набор доступных инструментов, правила их применения и последовательность действий: фиксацию момента начала деградации, сегментацию затронутых запросов и аудит последних релизов или правок конфигурации.
«Мы создали Performance Factory — автономную систему, использующую весь потенциал Codex и наших моделей для поиска и устранения регрессий на беспрецедентной скорости».
Опираясь на этот навык и бенчмарки прошлых инцидентов, Codex анализирует входящий системный алерт и выдает точный диагноз в рамках единой автоматизированной сессии без пошагового контроля со стороны инженера.
Как операторы предотвращают накопление подобных агентных отчетов в неструктурированных каналах связи?
Они превращают весь диагностический маршрут в сквозной пайплайн, способный самостоятельно писать и валидировать код. Изначально сотрудники OpenAI выполняли роль связующего звена, вручную копируя данные между системами мониторинга и Codex, а облачные сессии лишь сбрасывали отчеты в треды Slack, где сортировка проблем снова ложилась на людей. Performance Factory объединила разрозненные фазы в замкнутый операционный цикл.
Архитектура и пропускная способность пайплайна
Инфраструктура Performance Factory опирается на агентные воркфлоу в облаке, полностью автоматизирующие локализацию и устранение проблем с быстродействием. Инженеры настраивают конфигурационные файлы и передают инструкции в формате Markdown напрямую в сервис управления задачами.
Способны ли автономные агенты полноценно заменить глубокую инженерную экспертизу при расследовании сложных отказов в распределенных системах без надзора человека? Архитектура решения показывает, что финальное подтверждение остается за человеком. В рамках Regression Workflow агент расследует деградацию, протоколирует выводы в задаче и формирует патч для ревью инженером. После деплоя исправлений отдельный агент валидирует возврат метрик к целевому уровню.
Вместо исключения человека из контура управления система автоматизирует сбор телеметрии, написание чернового кода и проверку стабильности. Такой конвейер позволяет OpenAI закрывать в среднем 17 автоматических расследований ежедневно.
На фоне других
Зачем крупному разработчику понадобилось убирать человека из поиска багов собственной облачной инфраструктуры? Обычная инженерная отладка банально задохнулась: десятки утилит мониторинга и лавина алертов превратили расследование задержек первого токена в ChatGPT в неподъемную для людей рутину. Codex связал разрозненные логи и профилировщики памяти в единую систему без необходимости нанимать армию дежурных инженеров под каждый микросервис. В итоге компания переложила рутину на алгоритмы и проводит в среднем 17 автоматических расследований ежедневно.