非接触式眼动状态识别及其人机交互方法的研究与实现

人机交互理论是21世纪信息科学发展的重要领域之一，以眼动机理为基础的视线跟踪人机交互方法,涉及到图像处理、计算机视觉、模式识别等多个交叉学科，理论上极富挑战性。目前眼动状态识别机理和方法的研究很不成熟,易受外界光线干扰，跟踪精度受头部运动因素影响。本项目从自由空间的人眼注视方向识别的基础理论问题出发，探索基于图像处理的眼动特征信息提取方法及模型，深入研究眼动建模的理论依据并建立符合眼球物理构造特点的三维眼动模型，研究视场匹配中的非线性问题，建立自由空间的眼动模型与眼睛注视点的映射关系模型，提升自由空间的人眼注视方向识别技术的精确性与实时性。.项目的完成将会对人机交互技术带来变革性的影响，其研究成果在虚拟现实、汽车电子、残疾人辅助领域以及国防军事、航空航天、体育运动等领域均有着广泛的应用前景，具有重要的科学意义和良好的社会与经济效益。

非接触式眼动状态识别系统中的注视点估计精度与鲁棒性问题长期制约着眼动状态识别技术的推广应用。本项目为提高眼动状态识别系统的注视点估计精度与鲁棒性，提出了快速精确的特征提取方法，建立了眼动信息到注视点的映射模型并进行了相应的理论研究与实践验证，项目完成的主要工作如下：一、在特征提取方法方面，进行了红外光源下的眼动特征提取研究，使得瞳孔与普尔钦斑点的提取精度与速度显著提高；并在此基础上提出了快速高效的人眼眨眼判别算法，以此进行人机交互操作；此外还研究了普通光源下的眼动特征提取方法，使得眼动状态识别算法在普通光照下的精度与实时性仍然可以满足要求。二、在映射模型方面，提出了单红外光源下的基于逐步线性回归算法的映射模型，该方法剔除了映射函数中对注视点估计影响不显著的冗余参数，使得眼动信息与注视点达到最佳拟合；其次提出了基于四红外光源下的瞳孔角膜反射向量，该向量在头部运动时具有一定的不变性，较好地克服了头部运动带来的影响；最后建立了基于八红外光源下的透视变换模型，该方法立足于透视变换原理，从新的视角解决眼动状态识别系统注视点估计的问题，大幅度提高了注视点估计对头部运动的容忍性。三、为探讨眼动状态识别算法在人机交互中的实际应用，本项目将研究的眼动状态识别算法在SOPC平台进行了设计和验证，实验结果与原型算法保持一致，同时处理速度基本满足实时性要求。此外还开展了眼动状态识别算法在驾驶员疲劳检测系统和残疾人辅助系统中的应用研究，取得良好的效果。