Медицинская визуализация окончательно перерастает статус «красивых картинок» и превращается в поток интерпретируемых данных. Как следует из препринта на arXiv, исследовательская группа под руководством Ван Сити Халиматул Муниры Ван Ахмад представила SegTME-UNI2 — фреймворк, который автоматизирует описание микроокружения опухоли (TME). В основе системы лежит «двуглавая» архитектура UNI2-UPERHOVER, где фундаментная модель UNI2-Hpathology работает в связке с параллельными декодерами. Такая конфигурация позволяет одновременно проводить семантическую сегментацию по шести классам и разделять ядра клеток, превращая рутинные гистологические срезы в чистые датасеты.
Проблема дефицита ручной разметки, на которой обычно спотыкаются подобные проекты, здесь решена через Curriculum Learning и трехэтапный прогрессивный псевдо-лейблинг. Разработчики масштабировали надзор с базового датасета PanNuke (всего 7 901 изображение) до гигантского корпуса из 1,6 млн патчей TCGA-UT. По сути, это крупнейший публичный набор аннотированных данных на уровне клеточных ядер, созданный без привлечения армии патологоанатомов. Для CTO медтех-стартапов это важный сигнал: эра дорогостоящей ручной разметки в биомедицине подходит к концу.
На наш взгляд, главная ценность SegTME-UNI2 для фармгигантов заключается в переходе от пикселей к прозе. Пайплайн извлекает более 20 пространственных и композиционных признаков на каждый патч — от морфологии до метрик межклеточных расстояний — и упаковывает их в структурированный JSON. Затем эти данные обрабатывает языковая модель (через BioNeMo SFT), генерируя клинически интерпретируемые отчеты. Мы видим не просто еще одну CV-модель, а полноценный мост между сырым машинным зрением и доказательной диагностикой. Публичный релиз 1,6 млн аннотированных патчей станет мощным катализатором для всей индустрии, задавая новый стандарт того, как должен выглядеть современный R&D в пространственной биологии.
Главное
Архитектура UNI2-UPERHOVER объединяет распознавание ядер и семантическую сегментацию в одном цикле.
Обучение на 1,6 млн патчей TCGA-UT снимает зависимость от ручной разметки патологоанатомами.
Система генерирует готовые клинические отчеты через интеграцию с LLM (BioNeMo).
«SegTME-UNI2 превращает гистологические срезы в структурированные данные, создавая мост между компьютерным зрением и прикладной диагностикой».
