建模外部刺激与内部神经表征之间的相互作用,是脑机接口(BCI)领域中的一个关键研究方向。以往工作的一个主要局限在于,它们大多遵循专门化的单任务模型范式,这不仅限制了模型的通用性,也忽视了不同任务之间可能存在的协同效应。为了解决这一问题,我们提出了 Mind-Omni,这是首个通过离散扩散范式统一七种不同编码与解码任务的通用框架。其核心是一种新颖的 Brain Tokenizer,能够将异构、连续的脑信号转换为标准化的离散 token。这使得任意两种或多种模态之间,能够在共享语义空间中实现直接的 token 级交互,从而支持相互理解与生成。为了进一步赋予模型更强的推理能力,我们还构建了一个专门的脑信号问答(BQA)指令微调数据集。我们的模型不仅在多任务统一框架中建立了新的最优性能,也为多任务协同效应提供了有力证据。通过展现出与更大规模专用模型相当、甚至在某些情况下更优的性能,我们的工作为神经建模提供了一种强有力的新范式,并为构建神经活动基础模型铺平了道路。
中文标题:Mind-Omni:利用离散扩散模型实现统一多任务的脑-图-文建模
英文标题:Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion
论文作者:卢一卓,杜长德,何晖光