低空航拍下基于隐式姿态模型的平躺人体检测方法研究

Lying pose human detection is an active research field of computer vision in recent years. It has a good theoretical significance and many applications such as victim detection, home service robot. But the research on lying pose human detection in low-altitude aerial images is on its infancy, existing many unsolved problems due to the large variation of view-point, human pose, and image background. We focus on solving these problems, and propose a research on lying pose human detection in aerial images based on implicit pose model. Firstly, according to the geometry interpretation of perspective transformation, we propose an image sampling strategy to overcome the multi-view problem; Secondly, We propose an implicit pose model to deal with the large variation of pose, which determining the location of human by fusing the votes from local pose detector. The spatial distributions of all the local pose detectors are trained by regression forest. Finally, an online domain adaptation method based on Gaussian Processing Regression （GPR）, which used to update the scores of local pose detectors, is proposed to deal with the cluttered background. This research project is expected to deal with those mentioned problems; it can extend the application of aerial images, promote the development of relative theories and technologies of computer vision and pattern recognition.

平躺人体检测是计算机视觉研究中的难点和热点，具有很好的理论意义，可广泛应用在灾害救助和家庭服务机器人等领域中。但目前低空航拍下平躺人体检测的研究处于起步阶段，存在视角变化大、姿态多样、背景复杂等尚未解决的问题。针对这些问题，本课题提出了低空航拍下基于隐式姿态模型的平躺人体检测方法，思路如下：首先,根据透视变换的几何含义，提出一种新的采样策略解决视角变化大的问题；其次，提出了隐式姿态模型来解决姿态多样化的问题，即构建人体的局部姿态检测器，基于回归森林对局部姿态的空间分布进行建模，通过局部姿态的投票来确立人体的位置；最后，提出了基于高斯过程回归的在线领域自适应策略，对局部姿态检测器的输出值进行动态更新，从而解决复杂背景的问题。该项目的研究拓宽了航拍图像的应用领域，有利于模式识别和计算机视觉等学科中相关理论和技术的发展，具有较大的理论意义和很好的应用前景。

平躺人体检测是一类特殊的目标检测，具有很好的理论意义，可广泛应用在灾害救助和家庭服务机器人等领域中。项目的主要研究内容：（1）解决平躺人体检测中的多视角问题；（2）解决平躺人体检测的多姿态问题；（3）目标检测中的在线领域自适应问题。围绕上述的研究内容，取得了如下成果：. （1）建立了厦门大学平躺人体数据集，该数据集包含多姿态、多视角和复杂背景等因素。同时我们开发了平躺人体数据集标注软件，方便对数据进行标注，相应的软件著作权已经发表。. （2）针对多视角问题，我们提出了基于透视不变性的采样方法，在此基础上，我们提出了基于几何空间和样本特征空间的样本扩充方法。相应的研究成果发表在SCI期刊<<Signal Processing>> 和国际会议ICIP中，培养了一名博士生。. （3）针对多姿态问题，我们标注出了训练样本中人体关节点的位置，然后对关节点的位置进行聚类，针对不同的姿态建立不同的人体模型，该方法有效地解决了多姿态问题。相应的研究成果已投稿到SCI期刊<<Machine Vision and Application>>，并培养了一名博士生。. （4）针对样本的领域自适应问题，我们在特征学习阶段，利用多层卷积稀疏编码用来学习样本的深层信息，在分类器训练阶段，基于置信度编码对场景中的样本赋予不同的权重，当样本适用特定场景，则赋予其较高的权重，不适应的则权重较低。该方法能将普通场景中的样本迁移到特定场景中进行分类器训练，相应的研究成果在硕士论文中，培养了一名硕士生。. 在研究的过程中，我们将研究进行了拓展，取得了如下成果：. （5）针对航拍图像的配准需要较高的实时性，提出了压缩的二值化特征描述子，该描述子在梯度特征的基础上，利用学习的方法，选择最具判别性的特征，在公开的数据集以及我们自己建立的航拍图像配准数据集上，均取得了很好的性能。相应的研究成果发表在SCI期刊《NeuroComputing》上，培养了一名博士生。. （6）针对平躺人体检测在家庭服务机器人中的应用展开研究，基于局部时空兴趣点，设计了一个摔到检测算法，相应的研究成果已发表在SCI期刊上，培养了一名硕士生。. 综上，以该项目为依托，我们已经发表了8篇SCI论文，培养了3名博士生，3名硕士生，获批了1项软件著作权。达到了预期目标。