基于计算机视觉的眼动记录及分析技术用于行为识别的研究

The technology of eye movement recording and analysis based on computer vision has been widely used in many fields, such as psychology, cognitive science and market research. However, in the field of human-computer interaction, existing eye movement recording systems are usually very expensive and the eye movement analysis methods based on traditional eye movement patterns have limitations, therefore, the application of interactive technology based on eye is restricted. To this problem, the research of eye movement recording and analysis based on general cameras is proposed. First, general cameras are used to build eye movement recording system. There are many characteristics in low-quality eye images, such as special shapes of iris and sclera, gray level distribution, blurry limbus and eyelid occlusion. We are going to make full use of these characteristics, importance sampling and the difference image of two adjacent frames to design the iris tracking algorithm. Second, eye movement features are designed on the foundation of the basic units, such as the locations of the irises, eye movement direction and velocity of two adjacent frames. Eye movement analysis model is established by means of analyzing the physical meaning of each feature and its effect on the recognition results. Finally, a low cost and low invasive behavior recognition method will be researched by eye movement analysis. The research production will be used to design the low cost intelligent devices, which have the ability to sense the state or demand of human beings. Moreover, the research will lay the foundation for the popularization of the interactive technology based on eye.

以计算机视觉为基础的眼动记录及分析技术已经在心理学、认知科学、市场研究等领域取得了广泛的应用。然而，在人机交互领域，受现有眼动记录系统的成本及以传统眼动模式为基础的眼动分析技术固有缺陷的制约，基于眼动的交互技术难以取得广泛应用。针对这个问题，提出开展基于普通摄像机的眼动记录及分析技术研究。首先采用普通摄像机构造眼动记录系统，充分利用低质量视频图像中虹膜与巩膜的形状、灰度分布、异色边缘模糊及易受眼睑遮挡等特点，结合重要性采样思想及差分图像特点设计虹膜跟踪算法；然后以虹膜位置以及相邻两帧眼动的方向和速度等作为眼动分析的基本单位设计眼动特征，分析每种特征的物理意义及其对识别结果的影响，合理构造眼动分析模型；最后基于眼动分析技术研究能识别多种行为的低成本、低侵入性的可行方案。研究成果将为根据眼睛变化感知人类状态或需求的低成本智能设备的设计提供可行方案，为基于眼动的交互技术的普及奠定理论及技术基础。

眼动是一种精细的运动信息，人类在不同环境下做出的不同行为会伴随着不同的眼睛运动模式，因此眼动包含着丰富的与行为及环境相关的信息。然而，现有眼动记录系统的高成本及以传统基本眼动模式为基础的眼动分析技术的缺陷制约了眼动相关应用的普及，为使眼动信息得到充分开发利用，本项目研究了眼部图像采集系统设计、低质量图像中的人眼检测及跟踪、眼动特征提取及眼动分析模型等一系列问题。.设计了低成本、低侵入式的眼动视频图像采集系统获取眼动视频，建立了眼动行为视频数据库及标记了眼部特征点位置的人眼图像库。对现有人眼检测方法做了详细的分析和总结，基于多种经典算法实现了低质量图像中的人眼检测及跟踪。.提出基于明确几何关系约束定义眼部特征点位置的特征点标定方法，设计实验证明了卷积神经网络对特征点间几何关系的学习能力。提出一种基于单个卷积神经网络的人眼特征点检测算法，通过引入明确的几何关系约束并改进归一化方式提高特征点检测精度，在检测误差为5%时对眼部特征点的平均检测正确率达到97.96%，使用3.2GHz CPU及Matcaffe检测单张人眼的特征点只需1.5ms。.提出一种网络摄像机下基于多个眼部特征点及卷积神经网络的眼动分析模型，可避免注视映射及基本眼动模式检测带来的误差，无需人工提取眼动特征，并且能够降低眼睑遮挡及虹膜跟踪精度的影响，该模型对三种眼动行为的平均识别正确率和召回率均超过81%，对阅读和非阅读两种行为的识别正确率和召回率均超过93%。另外，还提出了基于眼动记录与分析技术的测谎及疲劳检测方法。.已经普及的网络摄像头和易普及的廉价穿戴式眼动仪有望成为普适计算时代获取眼动信息的常用传感器，本项目研究了基于这两类图像采集装置的眼动记录与分析技术，研究成果为自然便捷的人机交互、人类行为状态感知及眼动大数据研究等领域提供了可行的解决方案，并将直接推动基于计算机视觉的眼动分析技术在市场研究、医学诊断、眼动加密、智能交互、疲劳检测、测谎等领域的普及。