人体行为识别的基于视觉注意和眼动协同的拟视皮层计算途径研究

计算模型化人类视觉认知机理并嵌入到机器视觉系统使之具备拟人的视觉处理能力，是计算和机器视觉主要努力方向和发展趋势，视觉注意特别是基于物体的视觉注意、以及视觉注意与眼动协同选择的行为机制，是人类视觉能够高效认知世界完成复杂视觉任务不可缺少的保证。以拟人视觉神经认知计算的途径，运用基于物体视觉注意与眼动协同选择行为机制，可从实质上提高计算和机器视觉系统在复杂视觉场景下对复杂物体包括人体运动行为的识别认知能力。本课题以申请者已有的研究成果为基础，融合当前相关交叉学科最新研究成果，以基于视觉注意与眼动协同选择机制的拟视皮层神经认知计算途径，对复杂人体行动行为识别认知的计算和机器视觉化进行创新的应用基础研究，力求为计算和机器视觉的前沿理论和应用发展作出有重要价值的贡献。

融合神经生理、认知心理、信息科学技术等交叉学科最新研究成果并建立高效智能的拟生物计算理论及应用系统是当前信息学科等的研究热点，人体动作行为识别理解的认知计算是其中具有重要理论及应用研究意义的领域。在本项目资助下，围绕项目计划书研究内容，我们从人体动作行为识别理解的认知机理、生物合理的拟皮层计算理论、以及应用系统多个层面开展了跨学科交叉的理论及应用研究工作。从认知层面，率先开展了人类手部动作自动校正、手部动作理解的镜像神经系统等认知机理的实证研究，发现了颜色、深度等视觉信息对手部自动校正的调制作用，论证了镜像神经手部动作抽象理解中的作用机理和运动学习对镜像神经系统的塑造作用。此外，我们还正在进一步开展动作理解与语言理解交互作用机理的认知科学研究并已获得了初步研究成果。其次从计算层面，构建了基于物体的层次选择注意机制拟皮层计算方法并应用于对自然场景中运动人体的实时检测与追踪，并正在进一步开展动作行为识别理解的神经链路拟皮层计算方法、以及通过同步与震荡机制构建基于物体视觉注意的创新计算方法等研究。最后从应用系统层面，探索了运用脑机接口技术及镜像神经认知机理针对儿童自闭症的康复方法以及运用手部自动校正机理对中风病人的运动康复治疗方法等研究，并且开发了基于手势识别理解的智能人机交互系统、头眼运动检测融合脑电分析的驾驶员警觉状态评估技术等。