基于多光谱成像的人体头肩检测系统研究

Human detection is an important component in HOV(High Occupancy Vehicle) occupant detection, human-robot interaction, video surveillance, etc. However,in most current systems,objects with appearances like human beings may easily cause false detections in real scenarios.Compared with the conventional grayscale/RGB iamges,more information about the scene could be obtained in multispectral images, which could be used to reduce the false alarms. Head-shoulder is an important part of human detection.Based on an extensive study of the previous work,three aspects about head-shoulder detection in a multispectral imaging system will be further studied in this project.First, effective bands for the head-shoulder detection system will be selected based on the reflection curves of human skin. A new band selection algorithm will be developed. By using the selected bands, the imaging system can be simplified and the feature dimensions can be reduced. Second, a method to use both reflection properties of each pixel and texture properties of local regions will be developed for skin detection in multispectral images. Methods about image fusion will be studied to extract texture features from multispectral images.The skin and hair region detection results will provide more reliable cues for head-shoulder detection. Third, features based on multispectral images will be proposed for head-shoulder detection. Situations with different illuminations will be discussed.Finally, a head-shoulder detection system based on multispectral images will be established by combining the head-shoulder features with the skin region detection results. Although the target in this project is focused on head-shoulder detection, the developed methods can also be used for other detection-based methods based on multispectral images. The achievements in this project will promote the application of multispectral imaging systems for occupant detection, human-robot interaction,and video surveillance etc..

人体检测在HOV车道(即大容量车辆行车道)上的乘客检测、人机交互及未来视频监控等应用中都有着非常重要的作用。但是，目前多数检测系统面临背景中形似人体物品的干扰。多光谱图像可以获得比传统RGB图像更多的场景信息，将有助于降低系统误检率。头肩检测是人体检测中一个重要部分，基于目前研究现状，本项目将从三个方面展开基于多光谱图像的头肩检测系统研究。首先，本项目将依据皮肤的独特反射特性提出一种对多光谱头肩检测系统进行有效波段选择的算法，简化成像系统复杂度；第二，研究多光谱图像融合算法，综合利用单像素反射特性与空间纹理特征提高多光谱皮肤及头发区域检测的可靠性，为头肩检测提供更有力的依据；第三，研究基于多光谱图像的头肩检测特征，并分别探讨不同光照条件下的特征提取方法，利用多光谱信息提高检测性能。最终，将头肩特征检测与皮肤及头发区域结果相结合，建立一个多光谱头肩检测系统。

鉴于可见光图像在人体检测方面的局限性，多光谱图像通过采集多个波段的图像信息，利用更多的人体属性克服可见光成像在检测方面的缺陷。项目就基于多光谱的人体检测研究，主要完成了以下几项工作：1）搭建窄带多光谱人体头肩检测系统，从系统搭建、数据库建立、成像波段选择及多光谱检测特征提取等多方面进行了广泛深入的探索。提出了对人脸及多种常见类人脸物体区分的有效波段，并对多光谱反射特征、梯度特征及不同成像环境的特征设计提出了新的方法。研究成果不仅适用于多光谱活体检测，也可以进一步扩大应用到其他多光谱相关技术领域。2）基于近年来深度卷积网络在目标检测与识别领域的兴起及大型可见光及红外多光谱行人检测数据库的提出，项目对基于深度卷积网络的多光谱人体检测技术也进行了深入的研究。在深入理解卷积神经网络在目标检测中的工作机理基础上，从像素级、特征级等多种融合方式出发研究了可见光与红外多光谱信息在基于深度卷积网络方法中应用的有效手段，揭示了像素级图像融合和基于网络融合框架方式之间的互补性；3）作为人体头肩及人脸检测在交通领域的一个重要应用，项目进一步对驾驶员疲劳驾驶的检测进行了初步的研究，在头部及眼睛定位的基础上，依据PERCLOS准则的P80标准，通过眼睛闭合状态在一定时间内所占比例与人体疲劳的关系，设计了一套驾驶员疲劳驾驶检测系统，在初步验证中取得了较好的检测效果和准确率。.该项目的理论与应用研究取得了多项研究成果。在项目的支持下，已发表SCI学术期刊论文2篇；审稿中SCI期刊论文3篇，其中2篇已到小修阶段；审稿中国际EI会议论文3篇。已获授权国家发明专利4项，实审状态1项。已获软件著作权多项。协助培养博士研究生1名，培养及协助培养硕士研究生8名。另外，项目建立多个基于多光谱反射率的真实人体检测相关数据库，对相关方面研究的展开有重要意义。.该项目主要进行了使用多波段图像信息克服可见光成像在人体检测方面局限性的研究，随着相机技术的不断发展，研究成果对于多光谱技术在实际应用中的进一步推广具有重要的意义。