近日，我团队提出一种结构化神经解码模型，实现了根据脑活动模式进行自然图像、人脸等复杂视觉刺激的高质量重建。相关成果已发表于国际期刊IEEE Transactions on Neural Networks and Learning Systems。
几个世纪以来，哲学家和科学家一直在试图揣测、观察、理解和破译大脑是如何运作的，使得人们能够感知和探索复杂的自然世界。其中，作为人类感知世界最重要的信息通道，人脑视觉系统的加工机制得到了研究者最广泛的关注。很多研究尝试利用神经信息编解码的方法，即通过构建外部刺激与神经活动间的定量关系，来揭示大脑视觉信息加工的机制。课题组前期(TNNLS 2018)曾提出了一种基于贝叶斯深度学习的视觉神经信息解码方法，并能够根据记录到的脑活动信号重建被试所感知到的简单视觉刺激内容（如手写数字、字母等图案）。然而复杂的自然视觉刺激重建仍然是一个难题，针对这一问题，团队提出了结构化神经信息解码方法（如图1）。该方法通过多任务特征解码的方式揭示了多个典型计算机视觉模型（如VGG、ResNet）与人脑腹侧视觉通路在层次化特征表达方面的联系。通过高效结构化地利用这种层次化特征与人脑视觉皮层信号表达之间的关系，新方法能够根据采集到的少量人脑fMRI数据清晰地重建出被试所感知到的复杂自然图像和人脸刺激内容。该研究为理解大脑解码过程提供了新的视角, 也有力地促进了非侵入式脑-机接口技术的进步。
神经信息编解码是脑机接口领域的核心研究问题，也是探索人脑复杂功能背后的原理从而促进类脑智能发展的有效途径。自动化所何晖光研究团队已在该领域持续深耕多年，做出了一系列研究工作。相关工作发表在TNNLS 2018，ICME 2019, AAAI 2020，PR 2020，TCDS 2020, Information Sciences 2020等，其前期工作被MIT Technology Review头条报道，并获得ICME 2019 Best Paper Runner-up。
该论文第一作者为杜长德博士，通讯作者为何晖光研究员。为了促进该领域的持续发展，团队已将项目代码以及新采集的脑活动数据集开源。
该研究得到了国家基金委重点项目以及中科院先导项目等的支持。
图1：本文提出的多任务结构化视觉神经信息编解码框架，包含Voxel2Unit和Unit2Pixel两个阶段。
论文链接：https://ieeexplore.ieee.org/document/9229132
数据集： https://figshare.com/articles/dataset/FaceBold/13019966
代码：https://github.com/ChangdeDu/StructuredNeuroDecoding
参考文献：
[1] Changde Du, Changying Du, Lijie Huang, Haibao Wang and Huiguang He*. Structured Neural Decoding with Multi-task Transfer Learning of Deep Neural Network Representations. IEEE Transactions on Neural Networks and Learning Systems, 2020.
[2] Changde Du, Changying Du, Lijie Huang and Huiguang He*. Conditional Generative Neural Decoding with Structured CNN Feature Prediction. AAAI 2020.
[3] Dan Li, Changde Du, Huiguang He*, Semi-supervised cross-modal image generation with generative adversarial networks. Pattern Recognition, 2020
[4] H. Wang, L. Huang, C. Du, D. Li, B. Wang and H. He*, "Neural Encoding for Human Visual Cortex with Deep Neural Networks Learning “What" and “Where"," IEEE Transactions on Cognitive and Developmental Systems, 2020
[5] Dan Li, Changde Du, Shengpei Wang, Haibao Wang, Huiguang He*, Multi-subject data augmentation for target subject semantic decoding with deep multi-view adversarial learning，Information Sciences, 2020