Современные мультимодальные модели (VLM) застряли в «семантико-физическом разрыве», который делает их интеграцию в реальную медицину авантюрой с высоким риском. Пока лидеры рынка вроде GPT-4o или Gemini 1.5 Pro с почти человеческой точностью узнают блюда на тарелке, они фатально ошибаются в оценке их массы и состава. Исследование специалистов Северо-Восточного университета в Циньхуандао выявило «системную информационную асимметрию»: умение приклеить ярлык к картинке никак не коррелирует с пониманием того, как этот обед ударит по здоровью пользователя.
Разработанный авторами бенчмарк OmniFood-Bench уводит индустрию от примитивной классификации изображений к жесткому тестированию логики нутрициологии. Оценка идет по трем уровням:
Базовое восприятие (распознавание продуктов);
Количественные расчеты порций (оценка массы и калорийности);
Безопасность медицинских советов (соответствие клиническим протоколам).
Цифры фиксируют опасный тренд на галлюцинации. Модели с поразительной уверенностью выдают «безобидные» рекомендации диабетикам там, где еда гарантированно вызовет гипергликемический криз.
Исследователи отмечают: VLM может красноречиво расписать текстуру соуса, но напрочь проигнорировать скрытые риски. Это доказывает, что одних визуальных сигналов недостаточно для автономного медицинского контроля.
Для FoodTech-бизнеса это сигнал к пересмотру стратегий: ваши ИИ-агенты сейчас разбираются в фуд-фотографии лучше, чем в биохимии. Прежде чем внедрять эти решения в клиническую практику или потребительские сервисы, придется решить проблему выстраивания логических цепочек (Reasoning) — от плоских пикселей до физической массы и жестких медицинских протоколов. Пока же «ИИ-диетолог» остается лишь эффектным прототипом с огромным грузом юридической ответственности.
Главные выводы исследования:
Распознавание объекта не означает понимание его нутритивного профиля.
Оценка веса блюда по фото остается ахиллесовой пятой крупнейших мультимодальных моделей.
ИИ склонен давать опасные советы при хронических заболеваниях, игнорируя медицинские противопоказания.