Почему передовые языковые модели не способны зарабатывать на фондовом рынке? Как демонстрирует исследование Хуанфэя Цзяна, Аннин Ху, Кай Шен, Юйчэнь Цзэя, Руи Ге, Сянъюй Куна, Цзянхао Лина, Шузи Чена, Цзиё Вэна и Цзюньчи Яня, способность генерировать качественный аналитический текст больше не гарантирует точность финансовых прогнозов и инвестиционной доходности. Профессиональные исследования рынка требуют жесткой оценки доказательств в момент принятия решений, однако даже ведущие системы дают сбой при переходе от статичного поиска знаний к автономному управлению капиталом.
Для измерения этого структурного ограничения исследователи представили бенчмарк Investor's Last Exam (ILE), посвященный оценке качества исследований на рынке акций и созданный при участии опытных инвесторов и управляющих фондами. Как подробно описано в статье, опубликованной 28 октября 2026 года под идентификатором arXiv:2610.38342v1, бенчмарк оценивает агентов по 86 заданиям, комплексно проверяя качество исследований, точность прогнозов и смоделированные инвестиционные результаты. Методика опирается на версионированную финансовую базу данных, охватывающую 3,43 миллиона версий документов и девять категорий источников, дополненную структурированными рыночными данными с проверенными временными метками для поиска и вычислений. Это формирует строго замороженный набор информации и профессиональные критерии оценки для проверки агентов без заглядывания в будущее.
Архитектура финансового провала
Внедряя модели ИИ для анализа рынка, руководства компаний часто исходят из того, что высокие общие балы напрямую конвертируются в торговый успех. Тем не менее, флагманские системы демонстрируют резкое расхождение между аналитической беглостью и прогнозирующей эффективностью. GPT-6 Astra и Claude Opus 5.5 лидируют в общем зачете с показателями 68,1 и 66,9 балла из 100 в ходе оценки, задавая высокие базовые показатели в рутинных исследовательских задачах. Однако даже Astra набирает лишь 52,5 балла в блоке Forecast & Model, что подчеркивает серьезный спад при переходе от качественных резюме к количественному прогнозированию.
GPT-6 Astra и Claude Opus 5.5 лидируют в общем зачете с показателями 68,1 и 66,9 балла из 100 в ходе оценки, однако даже Astra набирает лишь 52,5 балла в блоке Forecast & Model.
Этот разрыв в производительности проистекает из сложности цепочки принятия решений. Финансовые агенты обязаны анализировать операции, конкурентные позиции и финансовое состояние, одновременно учитывая жесткие зависимости вроде ковенантов по кредитам и доступных кредитных линий по сравнению с неиспользованными. Если агент не способен проследить эти переменные через графы финансовых зависимостей, его симуляция разрушается при столкновении с последующей отчетностью, опубликованной после отсечки по времени принятия решений.
Отказ от статичных бенчмарков
Кто-то может возразить, что финансовое прогнозирование стремительно совершенствуется благодаря законам масштабирования и крупным массивам данных, из-за чего текущие провалы в бенчмарках носят временный характер. Как рынок реагирует на ситуации, когда высокие аналитические баллы маскируют низкую надежность прогнозов?
Как показывают данные, высокие баллы за качество ответов и выполнение задач не предотвращают ошибки в точности конечных результатов. Страница проекта на https://prophet-lab.cn/benchmarks/investor-last-exam-v1 и сопутствующий код на https://github.com/Prophetlab/Investor-Last-Exam формируют необходимую диагностическую базу для выявления причин сбоев аналитических преимуществ. Исследователи и разработчики могут изучить датасет на https://huggingface.co/datasets/HenryJ12/InvestorLastExam, чтобы провести аудит точной цепочки доказательств, допущений и выводов.
Переход от изолированных способностей к проверяемой оценке меняет подход организаций к оценке автономных систем. Когда решения о распределении капитала зависят от точных расчетов и сверок, модели обязаны подтверждать свою предсказательную валидность, а не просто пересказывать исторические отчеты. Поскольку финансовые рынки сокращают операционные бюджеты, неспособность перевести исследовательский потенциал в надежные прогнозы вынуждает переосмыслить автоматизированные инвестиционные стратегии, оставляя открытым вопрос о рыночной рентабельности автономных систем.
Что не сходится
Можно ли доверить реальный инвестиционный портфель языковой модели просто потому, что она безупречно пересказывает финансовые отчеты? Опыт показывает обратное: бизнес покупает аналитическую гладкость, а на выходе получает агентскую слепоту к жестким связям вроде кредитных ковенантов и скрытых рисков будущей отчетности. Когда исследовательский бенчмарк Investor's Last Exam исключает любую возможность заглянуть в будущее и оценивает строго автономные цепочки решений, магия масштабирования рассеивается на глазах. Машины научились писать блестящие отчеты по рынку акций, но зарабатывать на собственных выводах так и не начали.