基于快速序列视觉呈现(RSVP)的脑机接口(BCI)是一种利用脑电(EEG)信号进行目标检索的高效技术。传统的解码方法通常依赖于大量新受试者的训练数据,这导致了BCI系统准备时间的增加。为了减少对新受试者数据的依赖,已有一些研究引入现有受试者的数据,但这些方法采用的大规模数据优化策略,特别是基于对抗学习的优化,反而增加了训练时间。此外,大多数现有方法仅关注EEG信号的单一视图信息,忽视了来自其他视图的信息,而这些信息有可能进一步提升解码性能。
为了提高解码性能并减少模型校准时间,我们提出了一种时域-频域融合变换器与个体适配器(TSformer-SA)。具体而言,我们提出了一个跨视图交互模块,旨在促进信息传递,并提取从EEG时域信号和频谱图提取的双视图特征中的共同表示。接着,基于注意力机制的融合模块将两种视图的特征进行融合,从而获得全面的可区分特征用于分类。此外,我们还引入了多视图一致性损失,以最大化同一EEG信号在两个视图下特征的相似性。最后,我们提出了个体适配器,能够迅速将基于现有受试者数据训练的模型知识迁移到新受试者的数据解码任务中。实验结果表明,TSformer-SA显著超越了对比方法,并在仅有有限新受试者训练数据的情况下取得了卓越的性能。这不仅促进了BCI系统的高效解码,还加速了其在实际应用中的快速部署。
该研究成果已在神经网络领域的顶级期刊《Neural Networks》上发表,相关代码也已开源。论文的通讯作者为神经计算与脑机交互团队的何晖光研究员,第一作者为博士研究生李叙锦。研究得到了国家重点研发计划、国家自然科学基金等项目的资助。
论文链接: https://www.sciencedirect.com/science/article/pii/S0893608024007688
代码链接: https://github.com/lixujin99/TSformer-SA