基于监控视频的新疆多民族特征人脸识别方法研究

Xinjiang ethnic face characteristics of automatic identification based surveillance video has crucial significance for national security, social stability and progress of science and technology.This project in view of the traditional monitoring video of human resource cost and the timely monitoring and surveillance video in human face recognition rate is low, such problems as environmental adaptability, put forward using the surveillance video to automatic recognition method of xinjiang ethnic characteristics of people and technology. The main research contents of project: 1. Based on the monitoring video characteristics of xinjiang uygur people identify architecture design; 2. Intelligent monitoring video features of feasibility analysis and description method research; 3. More efficient xinjiang ethnic characteristics of people principle and method of automatic detection, recognition and tracking. It's innovative: a character description scheme based on xinjiang multi-ethnic facial features, TLD target tracking algorithm was adopted to realize the breakpoint tracking; In view of the real-time requirement of video transmission, low algorithm complexity of optimization problem solving scheme; In view of the real-time requirement of video transmission, low algorithm complexity of optimization problem solving scheme; In view of the face are mostly positive appeared in the video monitoring,is proposed based on template calculates radiation rotation Angle face detection scheme. The implementation of the project, on the one hand, to provide intelligent monitoring system of feature detection, recognition and tracking of direct technical support, on the other hand, one of the core algorithm which can be used in the related reference and application.

基于监控视频新疆多民族特征人脸的自动识别对国家安全、社会稳定和科学技术进步等意义重大。本项目针对传统的监控视频的人力资源耗费大、监控不及时和对监控视频中人脸识别率低、环境适应性不强等问题，提出利用监控视频对新疆多民族特征人脸进行自动识别的方法和技术。项目主要研究内容：1.基于监控视频的新疆多民族特征人脸的识别架构设计；2.智能监控视频特征人脸的特征描述可行性分析与方法研究；3.高效的新疆多民族特征人脸自动检测、识别和跟踪的原理与方法。创新点：提出基于新疆多民族人脸特点的特征描述方案，采用TLD的目标跟踪算法实现断点跟踪；针对视频传输的实时性要求，提出低算法复杂度的优化问题求解方案；针对人脸大多不是正面出现在视频监控中，提出基于辐射模板计算人脸旋转角度的人脸检测方案。项目的实施，一方面可为智能监控系统提供特征人脸检测、识别与跟踪的直接技术支持，另一方面，其中的核心算法可供相关应用借鉴和采用。

由于传统基于视频监控的人脸识别技术存在人力资源耗费较大、监控不及时、对监控视频中人脸识别率低和环境适应性不强等问题。本项目对相关技术进行了研究，其主要内容包括：1. 搭建了基于监控视频的识别框架，针对开源机器学习库DLIB中的人脸检测对齐任务的运行时间长，检测精度不高，对于传统CNN分类模型特征判别能力较弱的问题。我们提出用Mtcnn代替DLIB做人脸检测，并且以L2损失与三元组损失相结合的总损失函数来训练卷积神经网络基于加权KPCA和融合极限学习机的人脸识别，得到了更好的性能表现。针对传统的核主成分分析（KPCA）人脸识别算法的投影变换矩阵未必是最佳鉴别矩阵的问题，提出一种加权核主成分分析（WKPCA）的人脸识别算法；2. 进行了人脸的特征描述可行性分析与方法研究，基于新疆少数民族相貌的独有的特点，采取特征提取等图像处理方法，将采集到的图像中的人脸区域进行特征描述研究，提取适合于人脸检测、识别和跟踪的特征，并进行实验仿真。3.研究建立高效的新疆多民族特征人脸自动跟踪的原理与方法。提出基于多特征融合的尺度自适应KCF人脸跟踪算法，有效缓解了传统核相关滤波（KCF）跟踪算法在人脸跟踪中无法处理尺度变化、严重遮挡等问题。提出基于肤色分割的改进Camshift人脸跟踪算法，减弱了Camshift算法在对人脸跟踪时，容易受到肤色背景的影响以及跟踪环境中背景较为复杂时易失败的问题。针对相关滤波在处理目标消失、遮挡、脱离镜头时跟踪框漂移问题，提出了一种自适应置信度机制的人脸跟踪算法；4.对于人脸表情识别过程中传统方法存在的特征模式表征能力不足的问题，我们提出了改进的基于表情子区域单演中心对称局部三值编码的表情特征算法；5.针对ORB算法在图像匹配中没有尺度不变性和匹配精度低的问题，提出一种在NSCT域中基于改进ORB的遥感图像匹配算法。该项目的实施，一方面可直接为智能视频监控系统提供特征人脸检测与识别的技术支持，另一方面，其中的核心算法也可供相关领域参考和拓展研究。