基于3D视觉的人体姿态分布式估计

With the development of 3D vision and AI technology, human-machine cooperation has become an important path of traditional robot upgrade. Human pose estimation, as a key technology to ensure normal human-computer collaboration and the safety of cooperative objects, is currently a hot research topic. In this project, the theory and methods of distributed estimation of human pose based on 3D vision are proposed, focusing on the establishment of the kinematics model of human joints and the measurement noise model. A local estimator with regards to the position of the joints based on intelligent guidance is designed to reduce the modelling error and enhance the ability in the classification processing of the measurement noise. The synchronization mechanism of local estimation is established. Based on the principle of the intersection of covariance regions, the consistency of the local estimates is judged, and the estimation errors are compensated effectively. The continuous, stable, complete and effective output stream of human pose estimation is formed by fusing the local estimates. Finally, a set of practical theory and methods of distributed estimation of human pose based on 3D vision is formed.

随着3D视觉和AI技术的发展，人机协作已成为传统机器人升级换代的重要路径，人体姿态估计作为保障人机正常协作以及协作对象安全的关键技术，目前是一个热点研究课题。本项目提出了基于3D视觉的人体姿态分布式估计理论与方法的研究，着重解决人体各关节点的运动学模型以及量测噪声模型的建立问题。设计基于智能引导的关节点位置局部估计器，通过构建引导机制来减少当前模型误差，以及增强对量测噪声的分类处理能力。建立局部估计的同步机制，借鉴协方差区域相交原理判断局部估计的相容性，并进行有效的估计误差补偿，融合各局部估计形成连续、稳定、完整和有效的人体姿态估计输出流。最后形成一套实用的基于3D视觉的人体姿态分布式估计理论和方法。

人体姿态估计作为保障人机正常协作以及协作对象安全的关键技术是一个研究热点问题。由于受协作场景变化、目标遮挡、运动突变、人体形变以及视觉感知范围有限等影响，使得人体姿态估计存在鲁棒性、准确性等方面的不足。本项目提出了基于3D视觉的人体姿态分布式估计理论与方法的研究，将人体姿态估计问题转换为肩、肘、腕、膝、踝、髋等关节点位置估计问题，具体研究内容包括：1）提出了基于AI的人体关节点运动建模方法，解决了不确定性运动的建模问题，2）提出了基于渐进高斯滤波的人体关节点位置局部估计，解决了复杂量测噪声下的自适应融合问题，3）提出了基于分布式异步融合的人体姿态估计方法，解决了异步不确定性下的融合估计问题等。已发表相关的高水平论文7篇，其中，国际控制领域TOP期刊IEEE Transactions on Automatic Control论文2篇，IEEE Transactions on Industrial Informatics论文1篇。相关的研究成果与企业合作，应用于自动化医药配送的自动拣选与复核系统，基于人体姿态估计的舞蹈评估系统等。此外，将人体姿态估计等方法应用于羽毛球运动员运动状态评估，作为合作单位负责人立项浙江省“尖兵”“领雁”研发攻关计划项目：竞技运动的智能融合检测与评估系统。