Нейросимволический искусственный интеллект часто позиционируют как мост между статистическим глубоким обучением и формальным логическим рассуждением. По мере роста числа академических публикаций в этой сфере инженерные отделы компаний регулярно изучают препринты и материалы конференций, чтобы перенести гибридные архитектуры в продакшен. Однако восприятие научных статей как готовых к развертыванию решений оборачивается серьезными финансовыми и операционными потерями.
Шестиэтапный аудит публикаций
Исследовательская группа под руководством Брэндона Колелоу из факультета компьютерных наук Мэрилендского университета проверила, способны ли независимые инженеры запустить кодовые базы из опубликованных статей по нейросимволическому ИИ и подтвердить заявленные бенчмарки. Для этого авторы разработали строгую шестиэтапную методологию проверки доступных материалов.
На первом этапе команда собрала 5 497 исходных записей и отсеяла 3 018 дубликатов. На втором этапе ученые проанализировали заголовки и аннотации оставшейся 2 479 уникальной работы и выделили 1 365 статей, напрямую посвященных нейросимволическому ИИ. Из них исключили еще 61 публикацию из-за несоответствия тематике, отсутствия количественных оценок, ненаучного формата или платного доступа. На третьем этапе среди 1 304 прошедших отбор статей начался поиск проверяемого открытого кода: выяснилось, что к 849 работам код не прилагался вовсе.
Лишь 455 статей содержали репозитории, пригодные для перехода на четвертый и пятый этапы — инвентаризации артефактов и тестовых перезапусков в заданных рамках. Из всего массива в 1 304 работы исследователям удалось полностью или частично воспроизвести результаты только в 85 случаях. Таким образом, общий уровень воспроизводимости составил всего 6,52%, а среди 455 работ с предоставленным кодом — скромные 18,68%.
Основные причины сбоев в коде
Проблемы с запуском редко связаны со сложными математическими ошибками: в большинстве случаев пайплайны ломаются из-за базового пренебрежения инженерной культурой. При попытках воспроизвести результаты 321 проект остановился из-за отсутствия необходимых внешних зависимостей — авторы не выложили веса моделей, проприетарные конфигурации или исходные наборы данных. Еще 42 репозитория оказались полностью нерабочими или заброшенными.
Даже если в статье прямо заявлено о наличии открытого кода, ссылки часто ведут на несуществующие страницы или неполные скрипты, которые невозможно собрать в единый рабочий процесс. Для корпоративных команд теоретические успехи из академических публикаций не могут служить готовыми чертежами для продакшена. Без учета затрат на переписывание архитектуры с нуля бизнес рискует сжечь значительные бюджеты на R&D ради алгоритмических концепций, которые невозможно верифицировать.