面向服务机器人的交互式人体行为识别与建模研究

Recognizing and understanding human activities are the difficult problem and bottleneck of the intelligent service robot. Although video information has many advantages such as abundant information, dynamic observation, and low cost, the existing algorithms of vision-based human activity recognition have uncertainties, ambiguities, and complexities. To solve these problems, we introduce the 3D sense technology, self-learning and interactional model. The motional, spatiotemporal, energy information of human behavior and interactive information between the human bodies and objects are fully used to design the temporal segmentation mechanism of sub-actions and the extraction of key frames. The spatiotemporal information of complex behaviors is decoupled to relieve the complexities. The multi-object interactions of human actions, objects and environment are constructed to develop the theories of interactional probabilistic graph model. To improve the effectiveness of the observed data, we utilize the robot’s abilitivies of mobility, self-localization and self-learning to reduce the ambiguities of understanding human behavior. Research findings can implement to reduce the uncertain of observed data in existing algorithms, relieve the inference uncertainties of interactions probabilistic graph model, and improve the accuracy of human activity recognition. The proposal will improve the accuracy of human activity recognition. Therefore, our researches can provide a new idea and provide theoretical bases and technical supports for improving the intelligence and practicability of service robot.

识别和理解人的行为一直是智能服务机器人技术的难点和瓶颈。基于视觉的行为识别方法具有信息量丰富、动态观测和低成本等诸多优势，但存在歧义性、不确定性和复杂度高等问题，本项目针对上述问题，引入3D传感、自主学习和交互模型等技术，充分挖掘人体行为的运动信息、能量信息、时空关联和人物交互等信息，设计基于时间序列的子动作划分机制和关键帧提取方法，降低复杂行为的复杂度。通过构造人的行为、物体与环境之间的多目标交互作用，发展交互式图模型理论，研究利用机器人的自主定位、可移动性和自主学习能力，提高观测数据的有效性，减少行为识别的歧义性。本项目的研究成果可解决现有方法中观测数据的不确定性问题，大幅度减少图模型推理的不确定性，提高行为识别的准确率，为行为识别提供新思路，为有效地提高服务机器人的智能性和实用性提供理论依据和技术支持。

识别和理解人的行为一直是智能服务机器人技术的难点和瓶颈。基于视觉的行为识别方法具有信息量丰富、动态观测和低成本等诸多优势，但存在歧义性、不确定性和复杂度高等问题，本项目针对上述问题，引入3D传感、信息融合、人机交互和深度学习等技术，充分挖掘人体行为的运动信息、能量信息、时空关联和人物交互等信息，设计基于智能机器人平台的人体行为识别系统，该系统具有实时性强，准确性高和鲁棒性强等优点。本项目设计了具备人体行为识别、3D 图像处理、人体检测和跟踪的智能机器人实验平台；构建了视频总帧数超过60万帧的基于RGB-D摄像机的动态多视角人体复杂行为数据库DMV action3D。提出了基于3D时空卷积网络和基于(2+1)D多时空信息融合的残差卷积网络和基于低维BOW特征表示的人体行为识别方法。提出的低维BOW特征表示方法由人体行为关节点的运动动能、姿态势能和其他现有的特征组成，采用SVM方法在Cornell CAD60人体行为数据库上取得了92%的识别率。提出了基于多视角投影图的残差卷积网络，在此基础上提出基于视角权值的卷积残差网络用于3D物体识别，并在ModelNet10 3D物体数据库上取得了95.16%的识别率。项目在研期间共发表SCI论文11篇；中文核心期刊论文15篇；CCF B类会议1篇，EI会议5篇；授权发明专利3项，申请并公开发明专利12项；在创新创业等方面，荣获国家一等奖1项，国家二等奖1项，国家三等奖2项，上海市一等奖3项。本项目的研究成果可解决现有方法中观测数据的不确定性问题、遮挡问题和误诊断问题，DMV action3D为人体行为识别和机器人寻找最佳视角提供了可供验证的数据库，并利用多视角图信息、采用特征融合方法和构建深度学习模型提高了人体行为识别和3D物体识别的准确率，为有效地提高服务机器人的智能性和实用性提供理论依据和技术支持。