Мультимодальная фузия для детальной классификации фиброаденом груди и опухолей Филлоидов
Multimodal Fusion for Fine-Grained Classification of Breast Fibroadenoma and Phyllodes Tumors
Карточка статьи
Рубрика
Медицина
Источник
arXiv
Дата
02.07.2026
Автор
Science Morning
Время чтения
3 мин
Это предварительная публикация, она не прошла научное рецензирование.
Аннотация
Фиброаденома груди (ФА) и опухоль Филлоидов (ОФ) — это фиброэпителиальные поражения груди с высоко перекрывающимися проявлениями на ультразвуковых изображениях, что делает доброкачественные и пограничные ОФ подверженными ошибочной классификации как ФА, осложняя предоперационное принятие решений. Существующие методы компьютерной помощи в диагностике обычно основываются на однородных изображениях и недостаточно используют дополнительные клинические и текстовые данные. Чтобы решить эту проблему, мы разработали набор данных FAPT-M, состоящий из 910 пациентов с строго проверенными ультразвуковыми изображениями, структурированными клиническими атрибутами и описаниями ультразвуковой диагностики. На основе этого набора данных мы предлагаем клинически ориентированную мультимодальную структуру, которая объединяет визуальное кодирование на основе DenseNet, текстовое кодирование, вдохновленное CLIP, и легковесное клиническое кодирование, а также вводит адаптивную модуляцию с учетом клинических данных, фузию между модальностями с помощью Transformers и обучение представления с двойным путем для улучшения согласования признаков и взаимодействия между модальностями. В рамках пятирубцовой перекрестной проверки на уровне пациентов предлагаемый метод достигает точности 77,64%, F1-оценки 73,38% и AUC 89,74%, что превосходит представительные эталонные методы на базе CNN, Transformers и визуально-языковых моделей. Исследования по абляции и оценки с учетом классов дополнительно подтверждают вклад фузии трех модальностей и ключевые архитектурные компоненты. В целом, эта работа предоставляет эффективный мультимодальный подход для детальной классификации ФА и ОФ и устанавливает высококачественный эталон для мультимодального анализа ультразвука молочной железы.
Краткое резюме
Работа посвящена разработке методов мультимодальной фузии для более точной классификации фиброаденом и опухолей Филлоидов на основе изображений УЗИ и других клинических данных. Представленный набор данных и метод демонстрируют значительное улучшение точности по сравнению с традиционными методами.
Практический вывод
Метод может улучшить классификацию доброкачественных и пограничных опухолей, что важно для предоперационного планирования и диагностической уверенности.
Ограничения
Это предварительная публикация, она не прошла научное рецензирование. Ограничения исследования включают возможность некорректной интерпретации результатов при недостаточной репрезентативности выборки и необходимость дальнейшего тестирования на более широких данных для подтверждения эффективности метода.
Классификация ультразвуковых изображений имеет важное значение для компьютерной диагностики. Однако современные методы часто игнорируют клинические приоритеты, что приводит к плохой обобщаемости в сложных сценариях и отсутствию интерпретируемости, что ограничивает клиническое применение. Чтобы решить эти проблемы, мы нацелены на разработку модуля медицинских приоритетов, который можно бесшовно интегрировать в существующие конвейеры для повышения как диагностической эффективности, так и интерпретируемости. В данной статье мы предлагаем двухветвевую структуру классификации ультразвука, основанную на атрибутах, которая вводит независимые от домена медицинские атрибуты-приоритеты, улучшая обобщаемость и предоставляя интерпретируемые доказательства. В частности, базовая ветка следует традиционным архитектурам и предсказывает категории изображений с помощью полностью связанного классификатора. Ветка, ориентированная на атрибуты, вводит независимые от домена атрибуты в качестве приоритетов и производит интерпретируемые человеком подсказки для принятия решений. Наконец, адаптивный модуль принятия решений объединяет две ветви в зависимости от данных для получения окончательного предсказания. Эксперименты по различным задачам классификации ультразвука демонстрируют, что наш подход можно интегрировать в несколько основных и современных методов с низкими накладными расходами, постоянно улучшая точность и интерпретируемость.
Диагностика традиционной китайской медицины (ТКМ), особенно через осмотр языка, сталкивается с постоянными проблемами субъективности и воспроизводимости. Применение многомодального искусственного интеллекта для клинических задач ТКМ, таких как дифференциация синдромов и генерация рецептов, значительно затруднено семантическим разрывом между визуальными характеристиками языка и текстовым обоснованием, а также отсутствием масштабных, стандартизированных наборов данных. Для решения этих проблем мы представляем MMIR-TCM, новую структуру, которая эмулирует процесс диагностики экспертов ТКМ, интегрируя многомодальную языковую модель с сегментацией, дополненной памятью и генерацией, основанной на извлечении. Используя архитектуру, состоящую из трех этапов, MMIR-TCM интегрирует модуль Memory-SAM, не требующий обучения, для надежного извлечения языка, уточненную модель Qwen3-VL для генерации структурированной диагностики языка и компонент RAG на основе Qwen3 для генерации обоснованной клинической поддержки принятия решений. Структура была разработана и валидирована с использованием MedTCM, нового крупномасштабного многомодального набора данных, который мы представляем специально для углубленных исследований ТКМ. Для правильной оценки клинической точности нашей структуры, которую существующие метрики не могут отразить, мы также разработали TDEU, доменно-специфическую оценочную метрику, учитывающую семантическое понимание и диагностическую важность. Наши комплексные эксперименты демонстрируют, что MMIR-TCM значительно превосходит ведущие модели.
Цель: Расстройство дефицита внимания и гиперактивности (СДВГ) является клинически и этиологически гетерогенным, и диагностические решения могут выиграть от интеграции нескольких источников информации. Мы разработали подход объяснимого глубокого обучения, чтобы проверить, могут ли генетические, экологические, когнитивные, демографические и темпераментные данные классифицировать диагностику СДВГ и выявить факторы, способствующие принятию решений модели. Метод: Мы проанализировали участников когорты Oregon ADHD-1000, разделенных на тренировочные, валидационные и тестовые подмножества. Мы обучили модульные нейронные сети для классификации статуса случая-контроля СДВГ с использованием данных генотипа на уровне SNP с биологическими аннотациями, полигенных баллов, демографических данных, конфликтов в родительско-семейной среде, стресса и травмы, геокодированных мер, когнитивных задач, баллов темперамента и индикаторов отсутствия данных. Оптимизация гиперпараметров выбрала архитектуру модели и включение блоков признаков. Мы оценили производительность модели, используя AUC, кривые точности и полноты, анализы калибровки и предсказательной определенности, а также анализ кривой решений. Мы использовали интегрированные градиенты для количественной оценки важности на уровне блока, признака и индивидуальной важности признаков. Результаты: Лучшая модель, использующая черты темперамента, показала AUC 0.97 в удержанном тестовом подмножестве, с высокой точностью, чувствительностью и специфичностью и Brier score 0.06. Лучшая модель, исключающая темперамент, имела AUC 0.75. Анализы важности признаков подчеркнули важность темперамента, демографических и когнитивных доменов в модели, включающей темперамент. Индивидуализированные объяснения показали, что факторы предсказания варьировались между участниками и могли помочь выявить противоречивые или поддерживающие доказательства в различных доменах. Заключение: Объяснимые многомодальные классификационные модели могут интегрировать гетерогенную информацию, релевантную СДВГ, и выявлять признаки, которые способствуют индивидуальным прогнозам. Такие модели могут продвинуть исследования риск-моделирования СДВГ и поддерживать принятие решений клиницистами, особенно в сложных или диагностически неопределенных случаях.
С учетом достижений в предоперационной химиотерапии и комплексном геномном профилировании, тонкоигольная биопсия под контролем эндоскопического ультразвука (EUS-FNB) стала жизненно важной для диагностики опухолей поджелудочной железы и поражений перидигестивного тракта. Однако существующие данные о производительности игл нового поколения и упрощенных методах оценки образцов остаются ограниченными. В этом исследовании ретроспективно оценивалась диагностическая способность и частота неблагоприятных событий (AE) у пациентов, прошедших процедуру с использованием иглы нового поколения для получения биопсийных образцов твёрдых опухолей поджелудочной железы, подкожных образований и других поражений. Мы проанализировали данные 1232 последовательных пациентов, которые прошли EUS-FNB с августа 2016 года по ноябрь 2023 года в одном медицинском центре. Обработка образцов проводилась с использованием метода упрощенной макроскопической оценки на месте (S-MOSE), который не требует дополнительных патоморфологических тестов, таких как быстрая оценка на месте или цитология. Общая диагностическая точность с использованием S-MOSE составила 93,7%. В частности, диагностическая точность для рака поджелудочной железы составила 95,8%. Частота AE составила 1,1% (14/1232), включая панкреатит (шесть случаев), кровотечения (пять случаев), гематомы (два случая) и панкреатические свищи (один случай). Частота диагностических процедур с первой пункцией составила 83,6%, которая увеличилась до 92,5% после второй пункции, при этом прирост составил всего 1,2% после третьей пункции. Мультифакторный анализ выявил меньший размер поражения и доброкачественную патологию как факторы, связанные с более низкой диагностической точностью; наоборот, злокачественная патология была связана с более высокой диагностической точностью (отношение шансов 1,895, p = 0,011). EUS-FNB с S-MOSE, обычно требующая до двух пункций, обеспечивает эффективную и точную гистопатологическую диагностику при различных поражениях, минимизируя при этом нагрузку от процедуры.
Целью данного исследования было оценить прогноз и результаты дополнительного лечения остаточного аденокарциномы и аденомы после эндоскопической папиллектомии (ЭП) опухолей ампулы. Из 191 пациента, прошедшего ЭП, 43 с аденокарциномой или аденомой и положительными или неопределёнными патологическими краями были включены в исследование. Случаи с положительными или неопределёнными патологическими краями и остатками при эндоскопическом наблюдении после ЭП были определены как эндоскопические остатки, а случаи без эндоскопических остатков – как патологические остатки. Результаты были сравнены между этими группами для оценки дополнительного лечения. Всего было идентифицировано 12 случаев аденокарциномы, из которых в 10 случаях имелись патологические остатки, а в двух случаях – эндоскопические остатки. Из двух случаев с эндоскопическими остатками один пациент прошёл дополнительную хирургическую резекцию, в то время как другой находился под наблюдением и впоследствии показал прогрессирование заболевания. Среди 10 случаев с патологической остаточной аденокарциномой у четырех пациентов была проведена дополнительная операция, но рак не был обнаружен в удалённых образцах. У шести оставшихся случаев не было прогрессирования заболевания в течение периода наблюдения, что может свидетельствовать о том, что патологическая остаточная аденокарцинома могла быть полностью устранена с помощью ЭП. Остаточная аденома была обнаружена в 31 случае, при этом в 20 случаях имелись патологические остатки, а в 11 случаях - эндоскопические остатки. Рецидив аденомы произошёл в трёх случаях, и все они успешно лечились эндоскопически. Если патологический край положительный или неопределённый, требуется дополнительное лечение для случаев с эндоскопическими остатками после ЭП. Однако в отсутствие эндоскопических остатков последующее наблюдение может быть остережено в некоторых случаях.
Аденокарцинома поджелудочной железы имеет уникальный микробиом опухоли, и было показано, что уменьшение количества кишечных бактерий или грибов с помощью антибиотико/противогрибковых коктейлей снижает нагрузку опухоли поджелудочной железы у мышей. Однако функциональных исследований, оценивающих роль микробов, связанных с опухолью, мало из-за ограниченной доступности клинически значимых микробиотов. В данной работе мы подробно описываем эффективный рабочий процесс для изоляции бактерий и грибов из двенадцатиперстной кишки и опухоли у пациентов с раком поджелудочной железы, специально оптимизированный для криоконсервированных образцов с низким содержанием биомассы. С помощью этого рабочего процесса мы также изолировали микробиоту из нормальных тканей поджелудочной железы и двенадцатиперстной кишки от доноров органов и подтвердили наличие бактерий и грибов, изолированных из образцов тканей, с помощью последовательного анализа 16S и ITS. Результаты изоляции и секвенирования показывают отчетливые сходства между микробиомами поджелудочной железы и двенадцатиперстной кишки и подчеркивают уникальные штаммы бактерий, которые выживают в микросреде опухоли. В качестве доказательства концепции мы охарактеризовали выбранный штамм, изолированный из опухоли поджелудочной железы, используя секвенирование всего генома, метаболомику и культуры опухолей, чтобы определить его возможное влияние на микросреду опухоли поджелудочной железы. В заключение, этот оптимизированный рабочий процесс позволяет изолировать различные бактерии и грибы из низкобиоцилиндрических, криоконсервированных тканей поджелудочной железы и двенадцатиперстной кишки, которые затем могут быть использованы для функциональных исследований, характеризующих клинически значимую микробиоту, связанную с опухолью.