В закрытых тестах на перенос устаревшего кода модели показывали результат в 5,4%, а новая версия справляется с 97,9% задач.
Скачок производительности языковых моделей на малоресурсном коде уничтожает многомиллиардный рынок ручного рефакторинга и лишает вендоров мейнфреймов защиты в виде технической сложности. Сколько сотен миллионов долларов выручки потеряют интеграторы легаси-систем из-за того, что искусственный интеллект научился читать COBOL за секунды?
Анатомия прорыва и закрытые тесты
Компания выложила новый бенчмарк MultiLangBench и привела результаты второго, закрытого теста на перенос старого кода. На таких языках нейросети исторически пишут хуже всего, потому что открытого кода и документации на COBOL намного меньше, чем на Python или JavaScript, а большая часть банковских программ никогда не покидала стен компаний.
В закрытом тесте на перенос COBOL-программ GPT-5.6 Sol справлялась с 5,4% заданий.
Новая GPT-6.1 Sol при тех же настройках справлялась с 86,6% заданий, а если дать ей подумать подольше — с 97,9%. MultiLangBench проверяет модели на большой задаче, а не на олимпиадных упражнениях, где модель должна с нуля написать движок базы данных, совместимый с SQLite 3.40.1, на одном из 20 языков.
Рыночный удар по мейнфреймам
Еще в феврале конкурирующая Anthropic заявила, что Claude Code берет на себя самую трудоемкую часть модернизации COBOL — разбор и документирование старого кода. В тот день акции IBM упали на 13,2%, что стало самым сильным падением с октября 2000 года.
В тот день акции IBM, чьи мейнфреймы десятилетиями обслуживают этот код, упали на 13,2% – сильнее всего с октября 2000 года.
OpenAI в своем посте ссылается на оценки IBM, согласно которым на COBOL держится больше 40% систем онлайн-банкинга, 80% оплат картой в магазинах и 95% операций в банкоматах. В среднем по 20 языкам GPT-6 Astra прошла 87,4% тестов, а прошлая GPT-5.6 Sol — 26,8%.
Экономика моделей и скрытые риски
Дешевая модель GPT-6 Luna набрала в среднем 40,3% при цене около $0,77 за попытку против $3,48 у GPT-5.6 Sol. Главная оговорка заключается в том, что оба теста придумала и прогнала сама OpenAI, а сравнения с конкурентами нет, так как MultiLangBench выложен на GitHub под лицензией Apache 2.0.
При этом арифметика с фиксированной точкой в COBOL по умолчанию отбрасывает лишние знаки после запятой, если программист явно не попросил округлить. Перенесенная программа, которая округляет автоматически, отработает без единой ошибки и начислит совсем другие суммы, поэтому перед запуском в работу миграцию должны проверять эксперты на бизнес-правилах и зависимостях конкретной системы.
97,9%
Анализ редакции
Банковские мейнфреймы десятилетиями держались на неприступной сложности старого кода, но теперь их защита развалилась за секунды без единого архитектурного апгрейда со стороны вендоров. До сих пор автоматический перенос систем упирался в смешную точность в 5,4%, тогда как свежее решение OpenAI решает 97,9% задач на COBOL. Ещё в середине июля мы писали, как Сэм Альтман сулил 54% прироста в агентном программировании, хотя на деле модель сжигала лимиты рассуждений с бешеной скоростью; похожий отрыв от человека мы отмечали в конце апреля, когда специализированная версия опередила практикующих врачей на тестах (59 баллов против 43,7). Теперь точно такой же скачок выбивает почву из-под ног у интеграторов легаси-систем и обнуляет их многомиллиардные контракты. Вся неприступная сложность банковских мейнфреймов, кормившая интеграторов десятилетиями, схлопнулась ровно в тот момент, когда машина взяла планку в 97,9%.
Мы писали об этом: 23 апреля, 14 июля