Искусственный интеллектarXivScience Morning3 мин чтенияpreprint
SemRF: Семантическая опорная рамка для динамики остаточного потока в языковых моделях
SemRF: A Semantic Reference Frame for Residual-Stream Dynamics in Language Models
Карточка статьи
Рубрика
Искусственный интеллект
Источник
arXiv
Дата
30.06.2026
Автор
Science Morning
Время чтения
3 мин
Это предварительная публикация, она не прошла научное рецензирование.
Аннотация
Анализ остаточного потока исследует, как вычисления языковой модели развиваются на разных уровнях, но промежуточное декодирование требует сопоставимых координат считывания на различных слоях. Если якорные встраивания и считывания контекстов не совпадают по выбранному диапазону, то видимое движение может отражать смещение измерений, а не вычислений. Мы вводим "Семантические опорные рамки" (SemRF), основанную на якорях формулировку, которая разделяет семантическое измерение и остаточную динамику. SemRF фиксирует якоря и измеряет состояния относительно них. Связание псевдообратных операций обеспечивает точную синхронизацию; при ограниченной би-обратимости SemRF дает стабильные семантические базисные координаты, границы искажения и почти единичные изменения. С фиксированным каркасом остаточные вычисления становятся семантической траекторией по глубине. Якоря задают семантическую диаграмму Вороноя: расстояние или такие показатели, как логиты, назначают каждому слою грубую ячейку, в то время как координаты сохраняют движения и границы внутри ячейки. Мы определяем шаги по слоям, профили вклада и диагностику дисбаланса, а затем используем след Вороноя для определения расслабленной трубки. Канонический след - это путь с минимальным действием внутри этой трубки; когда он не пустой с положительным квадратичным весом, он уникален и подчиняется дискретному уравнению сплайн. Избыточное действие контролирует шаг, кривизну и несоответствие профиля. Низкая кривизна означает кусочно-линейную сжимаемость и плотность локальных знаний: меньшая сложность следа означает меньше семантических узлов. Через отображение параметров на траекторию это дает условную связь с эффективностью параметров: среди допустимых настроек, соответствующих данным, следы с меньшим действием и меньшей сложностью используют меньше семантических степеней свободы. Эти гарантии требуют контролируемой ошибки интерфейса и малого остатка проекции при явных ограничениях трубки.
Краткое резюме
Статья вводит новый подход к анализу языковых моделей, называемый семантическими опорными рамками (SemRF), который помогает различать семантические измерения и динамику остаточного потока. Этот метод позволяет улучшить понимание того, как вычисления модели развиваются на разных уровнях, и может привести к более эффективному использованию семантических степеней свободы.
Практический вывод
Использование семантических опорных рамок в языковых моделях позволяет добиться большей точности в анализе и повышенной эффективности вычислений, что особенно важно при работе с большими объемами данных.
Ограничения
Это предварительная публикация, она не прошла научное рецензирование. Обсуждаемое исследование накладывает ограничения на необходимость контролируемой ошибки интерфейса и малых остатков проекции при явных ограничениях, что может ограничивать применимость метода в некоторых сценариях.
В данной статье рассматривается робастное оптимальное управление в реальном времени для неопределенных нелинейных систем, где линейные временные приближения (LTV) упрощают планирование, но требуют достоверных оценок ошибок линейзации (LEBs) для обеспечения соблюдения устойчивых ограничений. Мы разработали строгие, дифференцируемые оценки ошибок линейзации на GPU для LTV-аппроксимаций нелинейной динамики и динамики нейронных сетей (NN). Для аналитической динамики мы вводим оценки Гессиана на основе пути, которые являются более строгими, чем стандартные интервальные методы. Для динамики NN мы выводим сертифицированные LEB, используя аффинные релаксации, сгенерированные верификатором NN, и локальные коррекции Якобиана. Мы адаптировали парный LTV-составляющий решатель для робастного управления на уровне систем, чтобы он соответствовал этим LEB, расширив его на обработку правообратимых матриц возмущений и нецентрицированных наборов возмущений для строгого зонотопного распространения неопределенности. Наш метод, GPUSLS-LEO, позволяет онлайн-оптимизацию робастных обратных стратегий, учитывающих ошибку линейзации, обеспечивая надежные, формально проверенные достигнутые трубки. На комплексных нелинейных и NN динамиках с размерностями до 168 состояний наш метод может вычислять робастные стратегии управления на GPU со скоростью до 67 Гц, снижая время решения и консервативность по сравнению с базовыми решениями, сохраняя при этом формальные гарантии и производительность в реальном времени.
Мотивация: Графы разнообразия пангеномов (PVGs) все чаще используются для представления геномного разнообразия, однако в настоящее время отсутствует общая структура для прямого генерирования популяционных пангеномов из явных эволюционных историй. Существующие симуляторы обычно сосредоточены на отдельных классах вариации и не интегрируют эти вариации в рамках генеалогической структуры, основанной на явных демографических историях. В результате оценка методов пангеномов в реалистичных популяционно-генетических условиях остается сложной задачей, а эталонные наборы данных с известной эволюционной истинной редко встречаются. Результаты: Мы представляем MSpangenome - структуру, учитывающую генеалогию, которая связывает симуляции популяционной генетики по модели коалесценции и анализы графов пангеномов. Этот конвейер объединяет симуляцию предков с msprime и алгоритм построения графов de novo для генерации PVGs непосредственно из смоделированных генеалогий. Явно моделируя рекомбинацию, демографическую историю и неполную сортировку линий, MSpangenome производит структурно сложные пангеномы, в которых вложенные и перекрывающиеся структурные варианты естественным образом возникают из базовых генеалогий, в то время как их эволюционная история и топология графа остаются известными по конструкции. Это обеспечивает общую структуру для генерации реалистичных популяционных пангеномов и установления наборов данных с известной истинной для методической оценки. Мы демонстрируем его полезность, генерируя пангеномы на уровне популяции и используя их в качестве контролируемых ссылок для оценки широко используемых инструментов построения графов, таких как PGGB и Minigraph-Cactus. Наши анализы выявили контрастные режимы производительности в зависимости от уровней разнообразия последовательностей, размеров образцов и классов структурной вариации, подчеркивая ценность симуляционных оценок для выявления ошибок реконструкции, которые трудно обнаружить, используя только эмпирические наборы данных. Доступность и реализация: MSpangenome реализован на Python, полностью контейнеризирован, доступен бесплатно по адресу https://forge.inrae.fr/pangepop/MSpangepop и зеркалирован на https://github.com/inrae/MSpangepop.
Аутизм и расстройства спектра аутизма (РАС) затрагивают десятки миллионов семей по всему миру, однако родители сталкиваются с обилием, но ненадёжными онлайн-советами и ограниченным доступом к своевременному, сочувственному руководству. Чтобы заполнить этот критический пробел, мы разработали Starmate (http://kefeng.mpu.edu.mo/starmate) — ИИ-ассистент с 1,5 миллиарда параметров, адаптированный для опекунов людей с РАС, используя строгую ориентированную на пользователя смешанную методологию. На основе углублённых интервью и опроса Kano, который выявил «практическое руководство» как необходимое требование для опекунов, мы сконструировали новую модульную архитектуру, интегрирующую анализ настроений, извлечение знаний на основе графов, проверенное экспертами (LightRAG), и модель Qwen2.5-1.5B, специально подстроенную под нашу домен. В слепом сравнении с ведущими коммерческими крупными языковыми моделями, Starmate показал улучшенные результаты по ключевым метрикам в рамках данной оценки (86.76 против 78.43-83.84) и продемонстрировал конкретные преимущества в области эмпатии, практического руководства и логической ясности. Автоматизированное бенчмаркинг также подтвердило эти результаты, с высокими оценками по профессиональной точности (86.18), эмпатии (86.79) и практическому руководству (82.58). Эти результаты демонстрируют техническую возможность легковесной, ориентированной на конфиденциальность, специализированной крупной языковой модели для генерации точных, эмпатичных и действенных ответов в бенчмаркинговых сценариях, создавая основу для будущей реальной пригодности и клинического тестирования.
Высокая скорость разработки электромобилей (ЭМ) вызвала проблемы пиковых нагрузок, конфиденциальности данных, масштабируемости и безопасного управления энергией в сетях умной электрической мобильности. Традиционные централизованные системы управления зарядкой ЭМ имеют недостатки, такие как утечка конфиденциальной информации, единая точка отказа, отсутствие гибкости в реальном времени и недостаток доверия к транзакциям. В данной статье предлагается структура управления энергией на основе ИИ с защитой конфиденциальности - Edge-Trust-Adaptive Learning Framework (PETAL-Grid), основанная на федеративной архитектуре блокчейна, которая поддерживает адаптивное и защищенное от утечек управление энергией. Ключевая цель данного исследования заключается в достижении масштабируемого, безопасного и оперативного управления зарядкой ЭМ через интеграцию федеративного искусственного интеллекта, интеллектуального прогнозирования спроса на краевых уровнях и управления доверием на основе блокчейна. Предложенная структура позволяет совместное обучение спроса без необходимости обмена сырыми данными, адаптивную зарядку в реальном времени на основе краевой интеллектуальной информации и прозрачные и защищённые от подделки энергетические транзакции на основе умных контрактов. Рабочий процесс PETAL-Grid включает сбор локальных данных, прогнозирование спроса на краевых уровнях, агрегацию федеративных моделей, адаптивное управление нагрузкой и валидацию транзакций на основе блокчейна. Результаты моделирования показывают, что PETAL-Grid может достигать 18% снижения пиковых нагрузок, 17% эффективности использования энергии и 98-99% безопасности транзакций, что лучше, чем в централизованных и базовых моделях. Результаты подтверждают, что PETAL-Grid является масштабируемым, надежным и безопасным решением для устойчивых сетей умной электрической мобильности.
Аннотация. Большие языковые модели (LLM) продемонстрировали замечательные способности в общих областях, однако их применение в специализированных медицинских контекстах требует строгой адаптации к предметной области. Мы представляем Infoxmed2.0-27B, медицинскую базовую модель, построенную на основе Qwen3.5-27B через комплексный многосложный пост-тренировочный процесс: (1) синтез проприетарных медицинских данных из базы данных MySQL с организацией MedicalCategoryTree, валидация командой докторов наук в области медицины, семантическая дедупликация на основе Chinese RoBERTa и языковая доработка с помощью API; (2) тонкая настройка Qwen3.5-27B с использованием LoRA (r = 8, d = 32) через MS-Swift, что привело к итерациям Infoxmed2.0.0 → 2.0.2 → 2.0.4; (3) прямая оптимизация предпочтений на 6,283 курируемых медицинских предпочтениях с использованием потерь DPO-RPO (β = 0.3, RPO = 0.1) на протяжении восьми прогрессивных тренировочных итераций (v0-v7); и (4) параллельное обучение медицинской модели награды на основе групповой относительной оптимизации политики (GRPO) на Qwen3.5, комбинируя внутренние наградные функции на основе правил с внешними сигналами DeepSeek. Всесторонние оценки в рамках единой системы LLM-as-Judge с использованием GPT-5.4 продемонстрировали точность 77.0% (средний качественный балл +7.18) на MedMCQA и +2.59 на HLE, с прогрессией от +6.69 (база) к +7.06 (тонкая настройка) и к +7.18 (финал).
Трансформеры используют один и тот же поток вычислений для предсказания следующего токена и хранения полезного состояния для будущих предсказаний токенов. Мы формулируем гипотезу о разделении предсказания состояния: разделение этих двух ролей обеспечивает лучшую производительность языкового моделирования. Мы разрабатываем вариант трансформера, который использует два вычислительных потока для разделения этих функций, и проводим эксперименты по предварительному обучению на данных различного масштаба. Наши эксперименты показывают, что разделение предсказания состояния последовательно предлагает лучшую эффективность данных и вычислений, улучшая показатель валидации и превосходя стандартные трансформеры в среднем на 2-3 процентных пункта по downstream задачам. Мы также проводим обширный эмпирический анализ, который исключает потенциальные конфаундеры и демонстрирует принципиальное различие в градиентах, которое влечет наш дизайн.