МедицинаarXivScience Morning3 мин чтенияpreprint

Многоцелевые агенты с рекуррентной памятью

Multi-Head Recurrent Memory Agents

Рубрика
Медицина
Источник
arXiv
Дата
01.07.2026
Автор
Science Morning
Время чтения
3 мин

Это предварительная публикация, она не прошла научное рецензирование.

Медицина

Аннотация

Рекуррентные агенты памяти расширяют возможности больших языковых моделей (LLM) для работы с произвольно длинными контекстами, последовательно консолидируя вводимые данные в фиксированное пространство памяти. Несмотря на свою масштабируемость, эти агенты демонстрируют хорошо документированную проблему надежности: общая производительность ухудшается систематически с увеличением длины контекста. Мы диагностируем это падение производительности, разбивая её на два фактора — захват памяти и сохранение памяти — и количественно подтверждаем, что именно сохранение является доминирующим узким местом. Сохранение рушится из-за того, что существующие конструкции поддерживают память как монолитный текстовый блок, что ставит под угрозу каждое обновление, рискуя перезаписать ранее сохраненное содержимое. Учитывая эту диагностику, мы предлагаем Многоцелевую Рекуррентную Память (MHM), общую и не требующую обучения структуру, которая делит память на независимые «головы», управляемые стратегией поэтапного выбора и обновления. На каждом шаге обновляется ровно одна голова, в то время как остальные головы структурно защищены от перезаписи, смещая бремя сохранения из поведения модели на архитектурный дизайн. В качестве легковесной реализации мы вводим MHM на основе принципа «Наименее Недавно Обновлённый» (MHM-LRU), который гарантирует равномерное использование голов с нулевыми дополнительными затратами на токены. Широкие эксперименты на бенчмарках с длинными контекстами показывают, что MHM-LRU значительно улучшает как сохранение информации, так и общую точность в диапазоне от 100K до 1M токенов, где базовые модели резко теряют эффективность. На RULER-HQA при 896K токенов MHM-LRU повышает уровень сохранения памяти с менее чем 30% до 73.96%. Эти достижения обобщаются на различные семейства моделей, масштабирование и типы задач, позиционируя архитектурную оптимизацию как практический и экономичный путь к надежной рекуррентной памяти с длинным контекстом.

Краткое резюме

Исследование представило новую архитектуру многоцелевой рекуррентной памяти, которая решает проблемы сохранения информации в длинных контекстах, обеспечивая надежное обновление памяти без потери ранее сохраненной информации.

Практический вывод

Предложенная архитектура многоцелевой рекуррентной памяти может значительно повысить эффективность работы с длинными текстами в различных приложениях, включая обработку естественного языка и другие задачи машинного обучения.

Ограничения

Это предварительная публикация, она не прошла научное рецензирование. Ограничения исследования включают необходимость дальнейшего тестирования в более сложных реальных условиях и возможность влияния выбранных стратегий обновления на производительность в специфических задачах.

Похожие исследования

Подборка учитывает рубрику, ключевые слова, аннотацию, резюме, практические выводы и источник.

Медицина
Медицина
82%

MMIR-TCM: Интегрированная память для многомодального вывода и поиска в поддержке клинического принятия решений в традиционной китайской медицине

Диагностика традиционной китайской медицины (ТКМ), особенно через осмотр языка, сталкивается с постоянными проблемами субъективности и воспроизводимости. Применение многомодального искусственного интеллекта для клинических задач ТКМ, таких как дифференциация синдромов и генерация рецептов, значительно затруднено семантическим разрывом между визуальными характеристиками языка и текстовым обоснованием, а также отсутствием масштабных, стандартизированных наборов данных. Для решения этих проблем мы представляем MMIR-TCM, новую структуру, которая эмулирует процесс диагностики экспертов ТКМ, интегрируя многомодальную языковую модель с сегментацией, дополненной памятью и генерацией, основанной на извлечении. Используя архитектуру, состоящую из трех этапов, MMIR-TCM интегрирует модуль Memory-SAM, не требующий обучения, для надежного извлечения языка, уточненную модель Qwen3-VL для генерации структурированной диагностики языка и компонент RAG на основе Qwen3 для генерации обоснованной клинической поддержки принятия решений. Структура была разработана и валидирована с использованием MedTCM, нового крупномасштабного многомодального набора данных, который мы представляем специально для углубленных исследований ТКМ. Для правильной оценки клинической точности нашей структуры, которую существующие метрики не могут отразить, мы также разработали TDEU, доменно-специфическую оценочную метрику, учитывающую семантическое понимание и диагностическую важность. Наши комплексные эксперименты демонстрируют, что MMIR-TCM значительно превосходит ведущие модели.

Медицина
Медицина
72%

Анализ стоимости информации для внешней валидации моделей прогнозирования рисков в многокцентровых исследованиях и систематических обзорах

Исследования внешней валидации имеют конечный размер выборки, что создает неопределенность относительно того, превышает ли чистая выгода (ЧВ) модели прогнозирования ЧВ базовых стратегий. Ожидаемая цена идеальной информации (ОПИ) quantifies последствия неопределенности. Текущие методы ОПИ фокусируются на одиночных исследованиях, игнорируя гетерогенность между центрами. Мы расширяем ОПИ и ожидаемую цену частичной идеальной информации (ОПЧИ), чтобы учесть гетерогенность между кластерами в многокцентровых исследованиях и метаанализах. Мы различаем глобальную и локальную оптимальную стратегию, а также наблюдаемые и ненаблюдаемые кластеры. Мы определяем ОПИглобальная, ОПИкластер_j, ОПИкластер и ОПЧИкластер,преобладание, реализованные в R-пакете MetaNB, и иллюстрируем их с помощью систематического обзора, проведенного в 36 центрах, по модели ADNEX для диагностики рака яичников. Предполагая одно глобальное решение по принятию ADNEX, нет необходимости в дополнительных данных для подтверждения, что ADNEX является превосходящим в целом (ОПИглобальная 0). Метаанализ заимствует информацию из наблюдаемых кластеров, что приводит к последовательному локальному превосходству ADNEX и ненулевому, но обычно более низкому ОПИкластер_j, чем при учете только локальных данных. Вероятность того, что базовые стратегии превосходят в ненаблюдаемых центрах, составляет 0.03. Устранение неопределенности в производительности и преобладании в каждом кластерном (ОПИкластер) дало бы 1134 чистых избегнутых ложноположительных результатов (ЛП) в год, предполагая 350000 опухолей ежегодно с 20% злокачественностей. Определение только локального преобладания с уверенностью (ОПЧИкластер, преобладание) дало бы 158 чистых избегнутых ЛП в год. Расширения ОПИ распутывают источники неопределенности и количественно оценивают необходимость дальнейшей валидации для определения глобальной или локально оптимальной стратегии. Учет неопределенности и гетерогенности в клинической полезности между кластерами имеет решающее значение для принятия решения о необходимости дополнительных валидационных исследований.

Медицина
Медицина
72%

Мультимодальная фузия для детальной классификации фиброаденом груди и опухолей Филлоидов

Фиброаденома груди (ФА) и опухоль Филлоидов (ОФ) — это фиброэпителиальные поражения груди с высоко перекрывающимися проявлениями на ультразвуковых изображениях, что делает доброкачественные и пограничные ОФ подверженными ошибочной классификации как ФА, осложняя предоперационное принятие решений. Существующие методы компьютерной помощи в диагностике обычно основываются на однородных изображениях и недостаточно используют дополнительные клинические и текстовые данные. Чтобы решить эту проблему, мы разработали набор данных FAPT-M, состоящий из 910 пациентов с строго проверенными ультразвуковыми изображениями, структурированными клиническими атрибутами и описаниями ультразвуковой диагностики. На основе этого набора данных мы предлагаем клинически ориентированную мультимодальную структуру, которая объединяет визуальное кодирование на основе DenseNet, текстовое кодирование, вдохновленное CLIP, и легковесное клиническое кодирование, а также вводит адаптивную модуляцию с учетом клинических данных, фузию между модальностями с помощью Transformers и обучение представления с двойным путем для улучшения согласования признаков и взаимодействия между модальностями. В рамках пятирубцовой перекрестной проверки на уровне пациентов предлагаемый метод достигает точности 77,64%, F1-оценки 73,38% и AUC 89,74%, что превосходит представительные эталонные методы на базе CNN, Transformers и визуально-языковых моделей. Исследования по абляции и оценки с учетом классов дополнительно подтверждают вклад фузии трех модальностей и ключевые архитектурные компоненты. В целом, эта работа предоставляет эффективный мультимодальный подход для детальной классификации ФА и ОФ и устанавливает высококачественный эталон для мультимодального анализа ультразвука молочной железы.

Медицина
Медицина
72%

Отслеживаемая диагностика неисправностей для систем накопления энергии на базе батарей с помощью вспомогательного многоагентного O&M ассистента

Системы накопления энергии на базе батарей (BESS) крупного масштаба требуют решений по эксплуатации и обслуживанию (O&M), которые объединяют тревожные сигналы, измерения на уровне ячеек, топологию устройств, диагностические таблицы, исторические случаи и документы по техническому обслуживанию. Платформы мониторинга могут выявлять нарушения пороговых значений, но они часто не могут объяснить, требует ли вмешательства несоответствие напряжения, дрейф сопротивления, риск короткого замыкания, расхождение в емкости или термическая аномалия. В этом материале представлен отслеживаемый помощник по диагностике неисправностей BESS, который использует многократное рассуждение с использованием поиска для соединения операционных данных, знаний в области, визуальных доказательств и генерации отчетов. Надежность повышается за счет специфической маршрутизации задач для BESS, доступа к базе данных естественного языка с ограничениями схемы, гибридного поиска текста и изображений, а также синтеза ответов на основе доказательств. Приведены предварительные внутренние оценки для маршрутизации, доступа к базе данных и диагностического рассуждения.

Медицина
Медицина
72%

SABER: Фреймворк анализа семантически согласованной структуры мозга с помощью многомасштабных гиперграфов

Эффективная диагностика заболеваний мозга требует синергии паттернов подключения мозга и высокоуровневых семантических знаний. Однако существующие методы в значительной степени рассматривают семантику из крупных языковых моделей (LLMs) как вспомогательные признаки или руководство, что ограничивает их прямую роль в принятии решений и сужает стабильность и надежность классификации. Чтобы преодолеть это, мы предлагаем фреймворк семантически согласованной нейросети мозга, который активно интегрирует семантику, полученную от LLM, в процесс предсказания. В частности, семантика на уровне ROI сначала включается через глобальное самообращение для обогащения представлений узлов и предоставления контекста всего мозга. Затем строятся многомасштабные гиперграфы для явного моделирования функциональных подсетей и взаимодействий между несколькими ROI, что решает локальные ограничения традиционных ГНН и захватывает высокопорядковые зависимости. Наконец, механизм семантической согласованности на уровне принятия решений избирательно вводит текстовые вложения, специфичные для пациента, в графовые представления, позволяя семантике напрямую управлять предсказаниями без нарушения глубинной структуры сети. Эксперименты на публичных наборах данных сети мозга ABIDE и ADHD-200 демонстрируют состояние искусства, повышенную стабильность и улучшенную интерпретируемость, особенно в условиях небольших выборок.

Медицина
Медицина
72%

Мультидоменная матричная структура для поддержки решений в области управления человеческими ресурсами

В данной статье представлен практический каркас поддержки решений в области человеческих ресурсов (HR) для малых компаний и стартапов, основанный на мультидоменной матрице (MDM). Этот каркас решает три ключевые задачи, с которыми сталкиваются малые организации: сложные взаимозависимости между компонентами организации; отсутствие систематических аналитических инструментов для принятия решений в области HR; и необходимость быстрого реагирования в быстро меняющихся организационных средах. Предлагаемый каркас формулирует управление человеческими ресурсами стартапов как проблему структурного моделирования в мультидоменной среде, где участники, навыки и проекты являются взаимосвязанными доменами внутри интегрированной MDM. На основе этого представления каркас предоставляет рекомендации по качественному анализу и количественные метрики для диагностики состояния HR в организации и поддержки решений по перераспределению нагрузки, найму и развитию навыков. Проводится тематическое исследование принятия HR-решений на основе MDM для стартапа в начальной стадии, чтобы продемонстрировать практическую применимость каркаса. Применение показывает, что каркас может выявлять дисбалансы в нагрузке, выявлять ключевого участника с чрезмерной нагрузкой и информировать о последующих решениях по найму. Каркас может быть применён и после найма нового участника для отслеживания изменений в мультидоменной структуре организации и поддержки непрерывной диагностики HR.