Большие языковые модели, которые с блеском щелкают медицинские тесты, позорно капитулируют в реальных клинических условиях. Исследование команды Кришана Брайтша и Кено Брессема из Мюнхенского технического университета вскрыло опасный нарыв: даже топовые проприетарные модели не справляются с агентным клиническим мышлением. В симуляции по гематологической онкологии лучшая из 32 протестированных систем наскребла лишь 68% точности. Проблема не в дефиците знаний, а в фатальной неспособности действовать в условиях неопределенности.
Между медицинским «знанием» и клиническим «действием» обнаружилась пропасть. Исследователи зафиксировали когнитивную леность: точность диагностики напрямую зависит от умения модели проактивно запрашивать данные пациента. Однако как только процесс доходил до финальных раундов, способность ИИ искать информацию буквально схлопывалась. Вместо того чтобы вытягивать критически важные молекулярные и цитогенетические показатели, агенты демонстрировали «преждевременное закрытие» — выносили вердикт на основе неполных профилей.
ИИ ведет себя как студент-двоечник, который стесняется признать, что чего-то не знает, и ставит диагноз наугад.
Для фаундеров MedTech-стартапов и директоров по инновациям это сигнал тревоги: текущие бенчмарки нагло врут о готовности ИИ к автономной работе. Высокие баллы за рассуждения (clinical reasoning) оказались полностью отвязаны от реальной точности диагнозов. Мы видим опасный феномен: система может звучать как блестящий онколог, совершая при этом детские ошибки. Без внедрения жестких механизмов активного поиска данных использование таких агентов в клинике — это не инновация, а игра в рулетку жизнями пациентов.
Главные выводы исследования
Точность диагностики в сложных кейсах не превышает 68% даже у лидеров рынка. Модели страдают «когнитивной леностью», прекращая сбор данных на критических этапах. Существующие медицинские бенчмарки не отражают реальную способность ИИ к лечению. Навык активного поиска информации важнее для результата, чем теоретическая база модели.
Современные LLM — это интерны с лексиконом профессоров, но без их хватки. Если вы строите диагностические инструменты, метрика «поиска информации» должна стать для вас важнее сырых баллов за знание теории. Пока модели не научатся затыкать дыры в анамнезе уточняющими вопросами, их польза в сложных клинических кейсах остается сомнительной, а риски — неприемлемыми.