基于生活史优化算法的运动捕捉方法研究

Since markerless motion capture method can provide a low cost and good way of human-computer interaction, it has a broad prospect of application. But the optimization problems exist in motion capture　under complex circumstances must be considered during its application. Aiming to this, based on analyzing the theory of the Ecology and the traditional Evolutionary Computation algorithms (ECs), this project absorbs the merit of the two fields. Then, we transform and reconstruction their theories to propose a new Life History Optimization algorithm (LHO). For the property of the high freedom degree and high dimension in motion capture system, the project will investigate to solve the optimization problems in motion capture by the LHO. This project firstly combines the theories of the image processing and the video processing to analyze the optimization problems existing in motion capture. Then, based on comparing and analyzing the search ability of the traditional ECs, combing the merit of Life History and the Intermediate Disturbance Theory, we define the basic model of LHO. Meanwhile, we investigate its important performance indexes ( e.g. convergence rate) in LHO and the theory of a markerless motion capture method with high performance based on optimization algorithm. This project will establish a framework of optimization theory for motion capture, achieve the theoretical innovation for optimization theory and technological breakthroughs for motion capture, which will promote the development of optimization and video related research fields.

基于无标记点的运动捕捉方法由于能提供一种低成本、良好的人机交互手段，具有广泛的应用前景。然而在复杂情况下存在的多个优化问题是其推广应用急需解决的关键性难点问题。本项目拟在深入研究生态学和传统进化算法的理论基础之上，充分吸收各自领域学科的特点，并加以改造和重构，提出一种新的生活史进化算法，同时针对运动捕捉系统中的高自由度、搜索空间维数高的特性，研究生活史进化算法解决运动捕捉系列优化问题。本课题首先结合图像和视频处理的相关理论，系统的分析运动捕捉方法中存在的一系列优化问题。然后，在分析比较传统进化算法搜索性能的基础之上，结合生活史原理，借鉴中度干扰理论，定义了生活史进化算法的基本模型，并系统理论的分析算法收敛性等重要性能指标，研究基于优化理论的高质量无标记点的运动捕捉方法。本项目探索具有普遍性的优化理论，实现优化理论的创新和运动捕捉的技术突破，促进视频领域和优化领域的研究与发展。

本课题围绕优化算法解决运动捕捉关键技术与理论开展了相关研究，达到了课题既定目标，完成了各项指标，取得了多项具有自主知识产权的原创性成果。课题的主要研究成果如下：在运动捕捉理论及相关算法方面：项目组首先构建了20个相机的阵列采集系统，在此基础上提出了多视角无标记人体运动捕获框架；基于感知三维mean-shift及遮挡处理方法的RBG-D视频跟踪算法，实验结果表明算法不仅处理遮挡的效果好而且具有很好的实时性；结合深度预测网络得到的原始图像中物体的深度信息和全分辨率特征提取网络得到的局部特征信息，实现了单视点图像生成虚拟视点图像的同时并实现了复杂场景的高清晰度虚拟视点图像生成。围绕运动捕捉中关键基础问题包括：图像分割、图像配准、特征提取等提出了系列优化算法，提出了多种优化算法改进策略和理论，提高了此类问题的精度和效率。在应用层面，结合运动捕捉和深度学习技术，提出了一种特发性震颤医疗辅助/自动等级评级系统；针对空间非合作目标近距离抓捕问题，项目组提出了一种基于视觉的在轨服务非合作目标位置和姿态确定算法；最后，提出了一种基于六自由度的VR头盔控制无人机技术，成功的应用于室外场景重建。.项目研究成果在IEEE T-MM, IEEE-TII, IEEE Conf. VR 2019, SIGGRAPH 2018, Information Sciences, Knowledge-based System, Neural Processing Letters等重要学术期刊和会议上发表多篇高质量论文，申请国家发明专利10项，同时培养了一直坚实的研究队伍，为后续研究奠定了坚实的基础。