基于深度强化学习的人脸关键点检测

Since facial landmarks are usually employed to depict the facial shape and local features, facial processing and analysis largely depends on the performance of facial landmark detection. For the sake of improving both the accuracy and efficiency of the facial landmark detection in wild conditions, this project focuses on the following three-fold researches: robust facial landmark detection for large-pose facial images, accurate facial landmark detection for low-quality frames in a video and efficient facial landmark detection for limited resources. To overcome the limitations of existing approaches, this project proposes the shape reasoning-decision network for image-based facial landmark detection, the multi-view interactive network for video-based facial landmark detection and runtime network compression for efficient facial landmark detection. Moreover, this project fully utilizes the nonlinearity of deep neural networks and obtains Markov decision convergence property of reinforcement learning. This project achieves to handle the variances of large-pose faces in the wild, as well as drifting for low-quality frames in a video, and meanwhile to control the network parameters for high computing efficiency.

人脸关键点通常用作描述面部形状轮廓和刻画细节特征，因此，人脸关键点检测技术是诸多人脸图像处理任务的研究基础和前提。本项目围绕在开放环境无约束条件下实现精准且高效的人脸关键点检测，研究如何提高对于人脸图像大姿态变化的鲁棒性、对于视频数据低质量图像帧的精确性以及对于约束计算资源的高效性。本项目深入结合深度神经网络的非线性表达能力和强化学习能够获得具有马尔科夫决策收敛性质的有效策略的优势，提出了基于形状决策-评估网络的图像人脸关键点检测、基于多视图可交互式网络的视频人脸关键点检测以及基于动态网络压缩的高效人脸关键点检测三项关键技术。本项目所研究的技术能够对抗人脸图像在自然环境下的大姿态变化，有效解决由于低质量图像帧造成的低精度和跟踪抖动问题，以及实现维持原有检测精度的同时压缩网络规模进而提升计算效率。

人脸是自然界中最普适的生物特征，其对于“以人为中心”的智能感知技术中智能无人系统与人际交互有着至关重要的作用。人脸关键点检测指定位出给定人脸图像面部的关键点，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓区域的点，关键点的精准定位是人脸识别、表情分析和年龄估计、三维人脸重建等任务的基础。然而，人脸关键点检测结果易受光照、姿态、遮挡等影响，精准高效的检测性能是一项极富挑战性的任务。针对开放环境无约束条件下的人脸关键点对齐与跟踪，项目主持人围绕人脸对齐、视频人脸关键点追踪以及人脸年龄估计，分别提出了面向鲁棒人脸关键点检测的一致性推理学习、面向大规模视频追踪的时空关系推理和面向真实环境人脸年龄估计的渐进式损失函数设计。通过上述技术，提出的自主推理与决策方法能够实现在不确定性环境下人脸关键点鲁棒检测与追踪。累计发表及录用国际国内高水平期刊和会议论文10篇。发表（录用）包括IEEE T-PAMI、T-MM以及中国计算机学会认定的A类会议论文包括ACM Multimedia、CVPR、AAAI共5篇。项目主持人研究成果受到学术界和工业界的关注，注重科研成果的应用与转化，研究成果进一步应用到医学影像与人工智能相关任务，助力宁夏“互联网+医疗健康”示范区建设。通过本项目的实施，完整培养了3名硕士研究生。