基于多任务深度网络和压缩回归的深度图像驾驶人姿态识别

This project proposes a multi-task deep network and compressive sensing regression based driver pose recognition system to identify the potential dangerous activities of the driver and give the early-warning, which can be used in advanced driver assistance systems (ADAS) for active safety. The novelty of the project lies in the followings three aspects. Firstly, to deal with the issue raised by the big training data which can boost the performance of the deep network model but required a lot resource for labeling, a deep network based transfer learning framework is proposed to combine the superiority of virtual data generation (low cost) and real data collection (high accuracy) for semi-supervise model learning. Secondly, to resolve the conflict between the multi-task processing and limited computation resource in the ADAS system, a multi-task deep network is proposed. The motivation is to use the unsupervised learning to learn the latent features that can be shared by all the tasks, such as classification, tracking and regression, and use the supervised learning phase to learn the individual model for each task. Thirdly, to improve the robustness of the low dimensional features which is used for the human kinematic model regression, a compressive sensing (CS) cascaded Fern regression model is proposed. This method can reduce the feature dimension and preserved the robustness, which can give a fast and accurate human pose estimation.

本项目以车辆辅助驾驶中驾驶人监控为应用背景，提出了一种基于多任务深度网络和压缩回归的深度图像人体姿态识别方法，对危险行为进行提示和预警，以达到避免事故发生的目的。首先，针对大量数据所带来的模型稳定性与标注成本之间相互制约的问题，拟开展基于深度网络的迁移学习方法研究，将虚拟数据易于获取和标注的优势与手工标注数据精确的优势相结合，实现训练样本集的有效扩充和特征表示的学习。其次，针对多任务需求与运算效率之间的矛盾，拟开展多任务深度网络的学习方法研究，通过多任务之间的特征共享与模型部分共享，对有限资源的最大化利用，进而实现人体部位的检测、跟踪及关节点定位的功能。最后，针对于高维特征的鲁棒性与低维回归特征选择之间的矛盾，拟开展基于压缩感知的人体运动学模型的层级式回归方法研究，在满足特征稀疏性假设的前提下，对高维特征进行压缩，并在此基上进行人体运动学模型的参数回归，实现人体姿态的精确估计。

驾驶人姿态识别是车辆辅助驾驶领域中的一个热门研究内容，是人体姿态识别的一个重要实际应用，研究人体姿态识别方法可以对该实际问题提供借鉴。本项目具体研究内容如下：.（1）提出了一种基于深度图像和深度卷积神经网络的驾驶人关节点识别方法。卷积神经网络由于局部连接和权值共享的特性，对于复杂的人体外貌姿态、环境光照变化具有不变性，深度图像能提供场景目标深度信息。因此本文利用ToF相机获取驾驶人姿态深度图像，基于LeNet网络设计了一种新的深度神经卷积网络，提取图像层次结构的特征，实现驾驶人关节点识别。.（2）设计了一种利用计算机仿真软件构建虚拟驾驶人姿态深度图像数据集的方法，用于解决缺少大量的附有人体关键点标注的驾驶人姿态深度图像的问题。本文利用仿真驾驶室环境，批量渲染虚拟驾驶人姿态图像，构建虚拟驾驶人姿态深度图像数据集、彩色图像数据集以及相应的标签信息。本文构建的数据集也可用于驾驶人部位检测、姿态识别、头部分析等多种视觉任务。.（3）实现了一种基于深度迁移学习的驾驶人头部分析框架，用于解决大量虚拟驾驶人图像数据的特性与真实场景存在较大差异的问题。利用深度网络的自学习特性，寻找源域与目标域的公共特征子空间，最小化源域和目标域在网络最高层输出的分布差异，根据少量目标域样本迭代更新深度迁移网络，所得模型用于目标域具有很好的迁移效果。.（4）提出一种模板化的运动合成模型，简化了运动合成方法的控制方式，提高了运动合成过程的可理解性。利用稀疏主成分分析，学习得到一组低维参数，分别控制着人体运动的一个内在自由度，并具有直观语义；同时，每个关节被尽量少的低维参数所控制，以减少低维参数对彼此所控制的自由度的交叉影响。通过直观地修改低维参数，就能够实时地控制每个参数对应的摆臂幅度、踢腿高度、跳跃距离等运动属性。.（5）提出了基于低秩结构化稀疏表示的异常事件检测方法。如何从庞大的视频数据中挖掘行为模式的关键信息而摒弃冗余内容，以及提高异常事件的检测效率是本文所要解决的关键问题。针对该问题，本文引入了低秩组稀疏编码(LASSC)模型，提出了一种基于低秩结构化稀疏表示的异常事件检测方法。