集成多模态信息的驾驶者异常状态识别模型研究

At present, most research on driver abnormal state detection depends on color images. Most of the existing research only concerns with the features of a single region. This restrict the detection of different kinds of abnormal activities. Furthermore, coupled with lack of concern of sequence information, as well as some objective factors such as background, jolt in the car and light interference, it seems difficult to ensure the reliability of classification. These are two main issues existing in the visual information based driver state recognition task currently. This research aims to address the above problems. First of all, the monitor is improved. Infrared cameras and sound recorders are used to monitor the state of the driver, so as to ensure the acquired information to be reliable and complementary. The research is carried out from the following three main aspects. Firstly, extract multi-modal information to describe driver states from each critical driver-status ralated areas and build original feature set. Secondly, through feature evaluation, the original feature set is reducted based on rough set techniques. Finally, a ensemble kernel classifier is learned on the selected multi-modal feature subset and the achieved ensemble kernel classifier is used for the driver state recognition.

目前基于视觉信息的驾驶者异常状态识别方法主要依靠彩色图像进行分析，现有的研究大多只关注单一区域特征，这样限制了能够识别异常状态的种类，加之对序列信息关注不足，以及客观环境如车内背景、颠簸以及光线干扰，使得分类的可靠性证难以保证。这是目前基于视觉信息进行驾驶者状态识别中存在的两大问题。 本研究旨在解决上述难点问题，本课题首先对监控信源进行改进，结合多红外视频和音频采集装置共同监控驾驶者的状态，从而保证获取信息的可靠性和互补性。课题主要从以下三方面展开研究，首先，在各关键区域针对不同信源提取与驾驶者状态相关的多模态描述特征构建原始特征集合。其次，借助于粗糙集技术对原始特征集合进行评价进而实现对原始特征集合的约简。最后，在约简后的多模态特征集合上进行集成核分类器学习，并利用习得的集成核分类器对驾驶者状态进行识别。

道路交通事故是造成人类非正常死亡的首要因素，其中，人为因素是酿成交通事故的主要因素。通过识别驾驶者的状态可以有效地预防或减少交通意外的发生，相关的研究也受到国内外研究学者的重视。通过驾驶者的眨眼情况和嘴部特征来识别驾驶者的状态是进行驾驶者状态分析的最主要的方法，本项目的研究在已有工作的基础上，提出驾驶者异常状态识别的相关问题，寻求建立针对驾驶者更为一般意义下和更加有效的异常状态识别方法，并进一步扩展到对驾驶者异常行为识别上来，并围绕这一思路展开进行了较为深入的研究以及理论上的探讨。首先，我们与现有具有代表性的对驾驶者状态的识别方法，如PCA结合SVM对人脸状态进行识别方法，序列Gabor小波特征的LBP表示结合AdaBoost级联分类框架进行人脸状态识别方法等相区别，提出了提取人脸多区域，多视角特征，并结合粗糙集手段进行特征选择，最后通过多分类器集成进行人脸状态识别的方法。其次，针对训练样本不足的问题，提出了通过构造虚拟样本提高稀疏表示分类效果的方法。第三，提出了进行空间变换来提高稀疏表示识别效果的方法，并对于该方法的收敛条件进行了证明。第四，提出了一个基于VGG-M Net的深层特征结合pairwise SVM进行识别的模型。此外，还研究了一些优化算法及其应用，包括图拉普拉斯PCA优化方法以及截断核范数正则化的鲁棒PCA优化方法。最后，作为进一步工作的起步，在深度学习框架下我们给出了一个基于DCNNs特征的多监控源驾驶异常行为识别的研究方案，其中甚至具体给出了对于多区域识别贡献进行评价的方法。项目始终按计划展开工作，已发表出来的相关论文5篇，其中SCI检索论文2篇，EI检出论文1篇，待检2篇（CCF B类会议）。尚有2项发明专利正在受理中。项目开展期间，课题组一直与哈尔滨工业大学徐勇教授、左旺勐教授、姚鸿勋教授以及张宏志副教授，曲阜师范大学的刘金星副教授，天津大学胡清华教授、朱鹏飞副教授，清华大学深圳研究生院郭振华副教授、中科院国家天文台黄鑫副教授以及北京物资学院李蓉教授等多个研究单位的学者及其团队保持密切的交流，多次参加天津大学组织的深度学习交流活动，并积极参与VALSE开放学术平台上的各种学习研讨活动。