本研究面向非侵入式语音脑解码任务，提出了一种模态感知融合框架（Modality-Aware Fusion，MFD），用于融合功能磁共振成像（functional magnetic resonance imaging，fMRI）与脑磁图（magnetoencephalography，MEG）两类神经影像数据，以提升脑信号对语音信息的表征与解码能力。fMRI具有较高的空间分辨率，能够刻画语音加工过程中相关脑区的空间分布特征；MEG具有较高的时间分辨率，能够捕捉语音感知过程中快速变化的神经动态。然而，如何有效整合两种模态在时空分辨率上的互补信息，仍是非侵入式语言脑解码研究中的关键问题。

      针对这一问题，本研究构建了模态感知的多模态融合模型，在统一框架下对fMRI与MEG信号进行特征建模与协同优化，使模型能够根据不同模态的表征特点自适应地整合语音相关神经信息。通过引入模态感知机制，模型能够更充分地利用fMRI所提供的空间定位信息和MEG所提供的时间动态信息，从而增强对语音表征的解码能力。实验结果表明，与单一模态解码方法相比，所提出的MFD框架能够更有效地融合多模态脑信号，在非侵入式语音解码任务中取得更优表现。

      该研究为多模态神经影像融合、语音神经表征建模和非侵入式脑机接口研究提供了新的方法思路。通过充分利用fMRI与MEG在空间和时间维度上的互补优势，本工作有助于进一步理解人脑在语音感知过程中的多层次表征机制，并为面向自然语言理解与交流辅助的非侵入式脑解码系统提供技术基础。

中文标题：面向非侵入式语音解码的fMRI与MEG模态感知融合方法

英文标题：MFD: Modality-Aware Fusion of fMRI and MEG for Noninvasive Speech Decoding

论文作者：Pengfei Yun，Che Liu，Changde Du，Huiguang He，Dinggang Shen