基于多感知融合的轻量化人体运动捕捉研究

Human motion digitalization technology based on human motion capture has a wide range of applications in the fields of entertainment, human-computer interaction, sports training, and medical healthcare. Under the development trend of human-machine integration, it is urgent to study universal and lightweight human motion capture technology to achieve accurate perception of human motion. This project aims to break through the limitations of the existing motion capture technology in wearability and precision by developing a multi-sensor fusion motion capture technology, combining the wearable sparse inertial sensing with inaccurate marker-less camera tracking, to achieve easy-to-use, non-intrusive, accurate, and reliable motion capture technology. Focusing on the key issues of reconstructing complete and precise human motion information from multi-sensor sparse and inaccurate measurements, we will carry out the following research: 1) in terms of motion modeling, construct a deep learning human motion priori model, explore the sparse representation of human motion data, thus reconstruct complete and accurate human pose information from low-dimensional motion measurements; 2) in terms of data fusion, study multi-perceptual measurement confidence assessment and data fusion strategy, thus achieve reasonable pose estimation from the fusion of motion priori model and measurements; 3) in terms of motion reconstruction, propose a motion optimal reconstruction method based on human motion constraints, thus improve real-time motion reconstruction precision in both human pose and position. This study will play an important role in promoting the popularization and application of human motion digitalization technology, and has important theoretical significance and application prospect.

以人体运动捕捉为基础的运动数字化技术在人机交互、泛娱乐、体育训练、医疗健康等领域有着广泛应用。在人机物融合的发展趋势下，亟需研究普适性、轻量化的人体运动捕捉技术，实现人体运动的精准感知。本项目旨在突破现有运动捕捉技术易用性及精度的局限，以无扰可穿戴的稀疏惯性传感结合视觉测量为基础，实现轻量化测量下的高精度人体运动重建。针对从多感知测量的稀疏、非精确运动信号中重建人体完整、准确运动信息的关键问题，开展以下研究：1）在运动建模方面，基于深度学习构建人体运动先验模型，研究人体运动数据的稀疏表示，实现从低维测量恢复高维姿态信息；2）在数据融合方面，研究人体运动多感知置信度评估与数据融合策略，获得融合先验模型与测量的合理姿态估计；3）在运动重建方面，提出基于人体运动约束的运动重建最优化框架，提升实时运动重建精度。本研究将对人体运动数字化技术的普及应用产生重要推动作用，具有重要的理论价值与应用前景。

以人体运动捕捉为基础的运动数字化技术在人们的工作生活中发挥着日益重要的作用，本项目以人体运动建模、捕捉与重建为主线，在现有运动捕捉技术的基础上，研究了融合稀疏惯性传感与视觉测量的轻量化运动捕捉技术。在项目执行期间，课题组围绕多感知融合运动捕捉关键技术，开展了人体运动稀疏表示、多感知数据融合、人体-环境接触判断、动作建模与分析及运动重建最优化等一系列创新性的研究，取得了不错的研究成果。项目基于大规模公开人体运动数据集改进了深度学习人体位姿估计先验模型方法，构建了基于概率图模型的复杂地形条件下的人体-环境接触判断模型，提出了通用的细粒度运动建模、分析与识别框架，探索了基于置信度评估的二维视觉关键点与惯性姿态融合运动重建最优化方法。最后，项目搭建了融合稀疏惯性传感与单目RGB视觉跟踪的人体运动捕捉原型系统，并开展了运动重建效果验证实验，系统表现达到预期要求。人体动作信息的精准感知、理解与人-机自然交互日益成为体育训练、医疗健康、影视娱乐等领域以及提高专业生产力的重要支撑技术。本项目取得的研究成果突破有助于突破动作捕捉设备使用复杂、精度有限的技术局限，对于推动人体运动数字化及人机交互技术的普及应用具有积极的促进作用，具有重要的理论价值和应用前景。在论文发表和人才培养方面，项目也取得了预期的成果。在国内外重要期刊和会议上共发表4篇高质量论文，其中包括3篇SCI论文。项目组成员多次参加了国内外领域主要会议开展学术交流，并积极与国内相关重要企业交流合作，推动成果转化与产业化发展。