Конвейер Regression Workflow от OpenAI провел более 1700 расследований и выявил первопричины сбоев более чем в 600 инцидентах всего за три с небольшим месяца. В основе процесса лежит Performance Factory — автономная система, использующая Codex и внутренние модели для масштабного поиска и устранения регрессий производительности в облачной инфраструктуре.

Классические инженерные методы управления производительностью перестали справляться с операционными накладными расходами при непрерывной доставке ПО. По данным OpenAI, скорость разработки с применением ИИ сделала привычную инженерию производительности экономически нежизнеспособной: компании пришлось заменить ручной анализ логов автоматизированными циклами, которые устраняют всплески задержек до вмешательства человека.

Ключевая операционная проблема поставщиков крупномасштабного инференса сводится к затратам на оплату труда: инженерный штат невозможно масштабировать линейно количеству алертов из сложных микросервисных архитектур. Ранее для удержания базовых показателей задержки инженерам OpenAI приходилось применять более 30 различных утилит — от мониторинга загрузки CPU до профилировщиков выделения памяти, — чтобы локализовать повторяющиеся просадки метрик, включая задержку выдачи первого токена в ChatGPT.

Переход к автономной диагностике

До интеграции Codex в операционные циклы инженеры OpenAI вручную проверяли метрики и журналы, сопоставляли распределенные трассировки, отлаживали работающие инстансы и вычитывали исходный код, выясняя причины замедления сервисов. Подобная ручная отладка требовала узкой профильной экспертизы по конкретным компонентам, что создавало жесткие операционные заторы. Важные сигналы телеметрии терялись, а каждый инцидент вынуждал старших специалистов тратить часы на работу с разрозненными инструментами.

Для стандартизации этих процессов OpenAI упаковала регламенты команды производительности в общий навык под названием perf-forensics. Он определяет для Codex набор доступных инструментов, правила их применения и последовательность действий: фиксацию момента начала деградации, сегментацию затронутых запросов и аудит последних релизов или правок конфигурации.

«Мы создали Performance Factory — автономную систему, использующую весь потенциал Codex и наших моделей для поиска и устранения регрессий на беспрецедентной скорости».

Опираясь на этот навык и бенчмарки прошлых инцидентов, Codex анализирует входящий системный алерт и выдает точный диагноз в рамках единой автоматизированной сессии без пошагового контроля со стороны инженера.

Как операторы предотвращают накопление подобных агентных отчетов в неструктурированных каналах связи?

Они превращают весь диагностический маршрут в сквозной пайплайн, способный самостоятельно писать и валидировать код. Изначально сотрудники OpenAI выполняли роль связующего звена, вручную копируя данные между системами мониторинга и Codex, а облачные сессии лишь сбрасывали отчеты в треды Slack, где сортировка проблем снова ложилась на людей. Performance Factory объединила разрозненные фазы в замкнутый операционный цикл.

Архитектура и пропускная способность пайплайна

Инфраструктура Performance Factory опирается на агентные воркфлоу в облаке, полностью автоматизирующие локализацию и устранение проблем с быстродействием. Инженеры настраивают конфигурационные файлы и передают инструкции в формате Markdown напрямую в сервис управления задачами.

Способны ли автономные агенты полноценно заменить глубокую инженерную экспертизу при расследовании сложных отказов в распределенных системах без надзора человека? Архитектура решения показывает, что финальное подтверждение остается за человеком. В рамках Regression Workflow агент расследует деградацию, протоколирует выводы в задаче и формирует патч для ревью инженером. После деплоя исправлений отдельный агент валидирует возврат метрик к целевому уровню.

Вместо исключения человека из контура управления система автоматизирует сбор телеметрии, написание чернового кода и проверку стабильности. Такой конвейер позволяет OpenAI закрывать в среднем 17 автоматических расследований ежедневно.

На фоне других

Зачем крупному разработчику понадобилось убирать человека из поиска багов собственной облачной инфраструктуры? Обычная инженерная отладка банально задохнулась: десятки утилит мониторинга и лавина алертов превратили расследование задержек первого токена в ChatGPT в неподъемную для людей рутину. Codex связал разрозненные логи и профилировщики памяти в единую систему без необходимости нанимать армию дежурных инженеров под каждый микросервис. В итоге компания переложила рутину на алгоритмы и проводит в среднем 17 автоматических расследований ежедневно.

OpenAIAI-агентыАвтоматизацияAI-инфраструктураПроизводительность