Модернизация корпоративных Java-приложений — это классический ИТ-кошмар, где ручное переписывание легаси-фреймворков под облака съедает бюджеты и нервы архитекторов. Пока рынок заворожен чат-ботами, Раджу Павулури и команда IBM Research представили ScarfBench — первый специализированный бенчмарк, который проверяет ИИ-агентов на реальную инженерную профпригодность, а не на умение поддерживать светскую беседу.
В отличие от общих тестов на поиск багов, ScarfBench фокусируется на жестком кросс-фреймворковом переезде.
На испытательный стенд выставили 204 задачи по миграции 34 приложений объемом около 151 тысячи строк кода. В центре внимания — три ключевые Java-экосистемы: Spring, Jakarta EE и Quarkus. Для СТО это означает переход от веры в «магию ИИ» к жесткой оценке окупаемости инвестиций: теперь можно на цифрах понять, способен ли автономный агент заменить дефицитных Java-разработчиков в расчистке завалов техдолга.
Главное в новом подходе IBM:
Масштаб испытаний: анализ 204 сценариев миграции на базе реальных корпоративных кейсов. Глубокая проверка: оценка не только синтаксиса, но и работоспособности бизнес-логики. Фокус на Java: поддержка актуальных переходов между Spring, Jakarta EE и Quarkus. Объективность: использование 1331 экспертного теста для верификации результата.
Техническая реальность такова: успешная сборка проекта еще не гарантирует корректность логики. ScarfBench оценивает не только то, развернулось ли приложение, но и проходит ли оно через сито из проверок. Это важный сдвиг в индустрии: эффективность инженерных агентов наконец-то начинают измерять метриками стабильности и деплоя, а не качеством сгенерированного текста.
Если вы планируете отдать разбор легаси-завалов на аутсорс нейросетям, забудьте об отчетах самих агентов.
Независимая верификация сборки и тесты IBM показывают, что между «код написан» и «система работает» всё еще лежит пропасть, которую невозможно преодолеть без объективного внешнего аудита.