从脑信号中解码语言信息是脑机接口领域的一个重要研究方向，尤其是在从功能磁共振成像（fMRI）信号中解读语义信息的背景下。尽管现有的研究使用大语言模型（LLM）来实现这一目标，但它们的方法并未采用端到端的方式，并且在fMRI到文本的映射过程中避开了LLM的应用，这为探索LLM在听觉解码中的作用留下了空间。在本文中，我们提出了一种新方法，称为Brain Prompt GPT（BP-GPT）。通过将从fMRI中提取的脑表征作为提示，我们的方法能够利用GPT-2将fMRI信号解码为刺激文本。此外，我们引入了文本提示，并将fMRI提示与之对齐。通过引入文本提示，我们的BP-GPT能够提取出更鲁棒的脑提示，并促进预训练LLM的解码能力。我们在开源的听觉语义解码数据集上评估了BP-GPT，与现有最先进的方法相比，在所有受试者中，METEOR指标最多提升了4.61%，BERTScore指标最多提升了2.43%。实验结果表明，使用脑表征作为提示来进一步驱动LLM进行听觉神经解码是可行且有效的。

        研究成果已被语音与信号处理领域顶级会议2025 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2025)接收，相关代码也已开源。神经计算与脑机交互团队的何晖光研究员为论文通讯作者，博士研究生陈晓宇为论文第一作者。该研究工作得到了科技创新基金，北京市自然科学基金以及国家自然科学基金的支持。

代码链接：https://github.com/1994cxy/BP-GPT