基于生成图像的人眼检测及视线估计方法研究

Image-based eye detection and gaze estimation have a wide range of potential applications, such as human-computer interaction, gaming, biometrics recognition, and driver assistant systems, etc. Though a large number of researches have been don for these two tasks, they are still challenging due to the variation of appearance, illumination, head pose and lack of annotated images. In this project, we are proposing a Generative Adversarial Networks (GANs) based model for image generation and a united deep cascade regression framework for simultaneous eye detection and gaze estimation. More specifically, we explicitly model the distribution of large scale of synthetic eyes with labels and real images without annotations based on adversarial learning methods. After generating the large scale of eye images with annotations, we further learn the deep regression models. At each cascade level, we learn the deep models to explore the coupled relations of global structure, local features, pupil position and 3D gaze direction based on the eye related landmarks. As a result, alternative optimization of the eye detection and gaze estimation is achieved.

基于图像的人眼检测及视线估计具有巨大潜在应用市场，比如人机交互、游戏娱乐、生物特征识别、辅助驾驶系统等。尽管目前已有大量相关研究工作，但是由于个体差异、光照变化、姿态变换以及数据标注困难等，人眼检测及视线估计仍然是一个具有挑战性的问题。本项目拟研究一种基于生成对抗网络的图像生成模型，并提出一个基于深度级联回归的统一框架来同时实现人眼检测及视线估计。具体地，我们显式地对大规模仿真人眼图像、对应标注信息、及无标注真实图像分布进行建模，利用对抗学习来得到有效图像生成模型，该模型能有效融合仿真图像、标注信息及真实人眼图像外观纹理。通过生成模型产生大量训练数据后，我们进一步学习基于深度级联回归的检测识别模型。在每一级级联迭代步骤中，基于眼部关键点，我们利用深度网络对眼部全局结构形状信息、局部区域图像特征、人眼瞳孔中心、三维视线方向的关联性进行建模，从而实现交替优化人眼检测及视线方向估计两个任务。

人眼作为脸部特征的重要组成部分，在人的自然交互中有着重要的意义，如能感知周围环境、表现人的注意力、传达个人的情感等。但在目前基于图像的眼动跟踪，即人眼检测及视线估计的研究中，仍存在光照变化、姿态变换以及数据标注困难等问题。.本项目围绕人眼检测、视线估计以及图像生成等方面开展了深入的研究。首先提出基于对抗机理的图像生成网络IsGAN等方法，并进一步提出基于改进GAN的图像生成模型，将真实无标注人眼图像的外观和纹理融合到带标注信息的仿真人眼图像中，生成更接近真实人眼分布且带有准确标注信息的图像；然后研究了眼睛状态、人眼瞳孔位置和视线方向的潜在映射关系，提出基于眼部关键点的精确人眼状态估计、视线估计和人眼位置检测方法，通过级联回归交替迭代优化来同时实现人眼开闭状态和瞳孔中心位置的检测以及视线的估计。最后在BioID、GI4E和MPIIGaze等数据集上进行实验以验证人眼检测识别的有效性，获得98.9%的眼睛状态检测准确率、98.5%（d_{eye}\le0.05）的瞳孔中心位置检测准确率以及仅为4.1°的视线估计角度误差，明显优于其他相似方法；同时通过消融实验证明眼睛状态、视线方向和人眼瞳孔位置三者存在隐式的对应关系，以及所提出的图像生成模型的有效性。.本项目成果可用于辅助驾驶系统、虚拟现实的眼动跟踪分析、辅助医疗应用等，使该人眼检测及视线估计方法成为交通，安防，医用等领域的不可或缺的基于人工智能的手段，具有十分重要的应用价值。