Современные медицинские ИИ-модели упираются в «когнитивный потолок», как только их пытаются вытащить из стерильных условий тестов Q&A в реальный хаос долгосрочного ведения пациентов. Как следует из отчета Цзыхань Сюя, Цзочжу Лю и их коллег из Чжэцзянского университета и Alibaba Group, нынешние бенчмарки слишком зациклены на изолированных фактах. Чтобы вскрыть эту проблему, команда представила LongMedBench — первый инструмент оценки, работающий с реальными историями болезни из базы MIMIC-IV. Вместо разовых запросов здесь проверяется способность агента обрабатывать многоэтапные клинические траектории.
Главные выводы исследования
Построение автономной клиники требует чего-то большего, чем просто безразмерное окно контекста. Данные LongMedBench фиксируют критический разрыв между извлечением данных и продольным (longitudinal) анализом.
Исследователи отследили 335 пациентов, у каждого из которых в среднем 19,72 госпитализации и почти 45 медицинских событий за визит.
Современные LLM отлично справляются с ролью поисковика — это классическая задача «иголка в стоге сена», — но они абсолютно беспомощны в имплицитных временных выводах.
Способность агента планировать лечение критически зависит от сиюминутного контекста: модель банально теряет логическую нить, когда ей нужно синтезировать историю болезни в динамике.
Почему это важно для бизнеса
Этот сдвиг в методологии доказывает, что медицинские агенты пока не пригодны для автономной работы без жесткого надзора. Согласно анализу LongMedBench, продвинутые системы памяти и RAG могут подтянуть точность извлечения фактов, но они не исправляют фундаментальный сбой в долгосрочном клиническом планировании.
Для техлидов и разработчиков месседж предельно ясен: масштабирование длины контекста не эквивалентно масштабированию клинической логики. Автоматизация больниц останется привязанной к «ручному управлению» врачами до тех пор, пока архитектуры рассуждений не догонят возможности поиска.
Если ваша стратегия по внедрению ИИ опирается на ведение хронических больных или сложные диагностические цепочки, LongMedBench подтверждает: технология к этому не готова. Текущие модели находят нужную строчку в карте, но не могут связать точки в единую картину через десять визитов к врачу. Нас ждет плато в медицинской автоматизации, пока разработчики не перестанут кормить модели гигабайтами текста в надежде, что те сами научатся думать как клиницисты.