融合眼动和事件相关电位的认知耦合目标识别方法研究

Cortically-coupled computer vision (C3Vision) combines human visual function with computer vision method, which can realize a new type of target recognition approach with human brain perception, judgment and learning ability and computer mass storage, accurate calculation and fast search ability. At present, C3Vision utilizes the traditional ERP-BCI paradigm to realize the functional coupling between human brain vision and computer vision. There is a serious constraint on the constraints of eye movement, inconsistent with human visual cognition mechanism and difficult to solve the problem of target recognition in real scene. In view of the above problems, this project aims to study the association between eye movement behavior and brain target recognition process by eye movement and ERP synchronization acquisition and information fusion. By invesigating the ERP feature extraction method based on eye movement behavior pattern detection, this project try to design a new asynchronous ERP-BCI technology without the constraints of fixation, so that the subject can identify the image target under the free search conditions, to fully use the intelligence of human brain visual function. Our research can realize a new type of C3Vision target recognition system which meets human visual working mechanism, human-computer interaction natural flexibility and real-time requirement in real scene.

认知耦合计算机视觉能够将人类视觉功能与计算机视觉方法相结合，实现兼具人脑感知、判断和学习能力与计算机海量存储、精确计算和快速搜索能力的高效目标识别方法。目前，认知耦合目标识别方法利用传统的ERP-BCI范式实现人脑与计算机视觉的功能耦合，存在被试视线受约束严重、交互方式不符合人自身视觉认知机理等问题，对其解决实际目标识别问题的能力带来严重影响。针对上述问题，本项目拟通过眼动与ERP的同步采集与信息融合，研究眼动行为与大脑目标识别认知过程的关联模型，以及基于眼动行为模式检测的ERP特征提取方法，设计不受视线约束、能在在视线自由搜索条件下工作的新型异步ERP-BCI技术，充分发挥系统中人脑视觉功能的智力优势，实现符合人自身视觉工作机理、人机交互自然灵活、满足真实场景下实时性要求的高效C3Vision目标识别方法。

认知耦合计算机视觉能够将人类视觉功能与计算机视觉方法相结合，实现兼具人脑感知、判断和学习能力与计算机海量存储、精确计算和快速搜索能力的高效目标识别方法。目前，认知耦合目标识别方法利用传统的脑电信号（EEG）特征获取人脑对图像目标的识别结果，并将EEG特征输出与计算机视觉处理结果相结合，得到最终的目标识别结果。然而，人在进行目标识别过程中，人眼视线注视方向的变化也能够包含很多人对图像目标的分析、处理与识别信息，将其与EEG特征融合可以进一步提高人脑视觉处理结果提取的准确性、可靠性和实用性。针对这一理念，项目组根据项目计划书的研究计划安排，开展了以下研究工作：1）构建了融合眼动、EEG信号以及计算机视觉处理结果的多模态目标识别/选择BCI系统，并在真实应用场景（行人检测识别、移动目标识别等）中进行测试验证，实验结果表明通过融合上述三类不同模式的目标处理结果，可以将人的分析决策能力和经验与计算机快速处理能力有效融合，极大提高复杂环境下的目标检测能力；2）基于眼动与SSVEP脑电特征的数据样本与实验结果，探索研究了刺激目标位置对人眼感知与脑机接口系统的影响程度及脑电诱发信号特性，为优化设计融合眼动与EEG的混合BCI系统提供了理论支持；3）构建了认知耦合目标识别方法的测试验证平台，实现了基于人脑视觉目标识别结果与计算机视觉处理结果的融合策略，并在该平台进行了验证与优化。在项目经费支持下，课题组发表SCI期刊论文5篇，EI论文4篇，申请受理专利1项。上述研究成果都达到了项目计划书中所规定的各项性能指标要求。