Современные бенчмарки оценивают интеллект языковых моделей как серию изолированных спринтов: логику, код или извлечение данных. Однако в кресле руководителя задача меняется — здесь нужно не решать пазлы, а интегрировать противоречивые сигналы от стейкхолдеров в условиях жесткой асимметрии информации. Исследование Юйяна Дая из MBZUAI и его коллег из Йельского университета (Сюэцин Пэн, Линфэй Цянь и Чжуохань Се) показывает: фронтирные модели справляются с формальной структурой отчетов, но безнадежно «плавают» в стратегической калибровке реального бизнеса. На свет появился CEO-BENCH — фреймворк, который переводит LLM из режима стилизованных экономических задачек в симуляцию агрессивного перераспределения корпоративных ресурсов.
The multi-agent boardroom simulation
Методология CEO-BENCH ломает привычный сценарий «вопрос-ответ». Теперь модель в роли CEO помещается в сложную среду, где ей противостоят четыре агента-советника: финансовый (CFO), технический (CTO), операционный (COO) и директор по маркетингу (CMO). У каждого — свой закрытый набор данных и часто шкурные интересы. По словам команды Дая, советники выдают функционально дифференцированный шум, а задача «гендиректора» — синтезировать эти фрагменты информации в многораундовый план распределения капитала. Здесь нет одного «правильного» ответа в данных: модели приходится балансировать между операционной стабильностью и рыночными возможностями. Исследователи протестировали пять топовых моделей в 13 сценариях, оценивая их по четырем шкалам: интеграция ролей, решительность, преемственность суждений и валидность планов. И если с базовой арифметикой бюджета проблем почти нет, то навигация между долгосрочной стратегией и сиюминутными провалами в операционке удается единицам.
Failure modes in strategic judgment
Самое интересное — системные ошибки, вскрытые командой из MBZUAI и Йеля. При масштабировании симуляции модели начинают страдать «исторической амнезией»: они теряют нить собственной стратегии, скатываясь в реактивное латание дыр от раунда к раунду. Встречается и феномен «захвата одним советником», когда CEO-агент игнорирует баланс интересов и слепо встает на сторону, например, финансового директора. Но главный инсайт — это выявленный компромисс между интеграцией мнений и решительностью. Модели, которые глубже вникают в конфликтующие точки зрения, часто оказываются парализованы и выдают максимально консервативные, осторожные решения в условиях неопределенности.
«Модели, которые слишком глубоко анализируют противоречивые мнения, теряют волю к принятию решений».
Эта структурная слабость намекает: нынешним LLM не хватает «интегративного суждения», которое и составляет ядро работы топ-менеджмента. Перед нами все еще «умные чат-боты», способные отыгрывать роль, но не автономные агенты, готовые к управлению капиталом. Мы видим четкую границу способностей: модели отлично соблюдают правила игры, но проваливают стратегическую калибровку, где нужно держать единую линию, несмотря на давление подчиненных. Для разработчиков и техлидов вывод очевиден: путь к «Executive AI» лежит не через наращивание логических мощностей, а через создание механизмов взвешивания асимметричной информации. Остается открытым вопрос — является ли «историческая амнезия» фундаментальным ограничением контекстного окна или мы просто еще не научили нейросети стратегической воле. Пока что «C-suite агент» — это в лучшем случае исполнительный координатор, но никак не лидер.