非结构环境下基于三维肢体动作理解的工业机器人交互技术研究

Human-robot interaction（HRI） technology is the direction of the next generation of industrial robots. Gesture recognition technology is the interactive research in recent years. The project intends to develop the novel HRI model based on the three-dimensional action perception to address Action perception HRI of industrial robots under unstructured environment. Based on the Dual-arm industal robot,through the integration of depth and image information, interactor and operating tool are recognized and 3D human pose is estimated. By combining with the knowledge database, strategies of HRI is generated. with the stability and real-time characteristics, proposed method which is robust to the unstructured environment, such as complex background, various illumination and partial occlusion, can solve overcome environment constraints. This project provides theoretical reference for solving human-computer interaction technology of industal robot, while helping to promote the practical application of dual-arm industal robot and industrialization.

人机交互技术是下一代工业机器人的发展方向，基于肢体动作识别的人机交互技术是近年来研究的热点。本项目拟采用基于三维肢体动理解的新型人机交互模式，解决非结构环境下工业机器人的高效人机交互问题。在双臂工业机器人平台下，通过基于机器人本体获取的深度和图像信息的融合，实现非结构环境下对交互对象以及操作工具区域的识别和准确提取，构建实时的三维人体姿态完成对肢体动作的识别，并结合行为人机交互策略知识库，针对不同任务所涉及的肢体动作和操作工具建立人机交互策略。该方案对非结构环境中光线变化、复杂背景、局部遮挡和动态因素干扰具有鲁棒性特点，在人机交互中具有稳定性和实时性特点，克服了传统方法受环境制约和用户通用性差的缺点。该项目研究为解决新一代工业机器人的人机交互技术的可靠性和通用性问题提供理论参考，同时有助于促进双臂工业机器人实际应用及产业化的发展。

项目首先研究了基于单目图像和深度图像融合的动态手势识别技术，首先对深度和VGA摄像头进行标定，获取深度图像和RGB图像的坐标关系。在此基础上构建人体骨骼模型，获取动态手势关键节点处的空间坐标，构建以球坐标系下的三维直方图分布，通过关键主节点在三维直方图中的分布情况实现对动态手势的识别，对比现有的动态手势识别方法，能够有效的消除用户个体的在手势表达在时间和空间上的差异性，并在复杂环境条件下具有良好的测试效果。.针对现实生活中非结构化的抓取环境，提出一种基于非规则物体基本形体组成的自主抓取的方法，认为机器人自主抓取的关键不仅仅在于对物体类型的识别，更大一部分在于物体形状上(如：形状基元的组成)的良好抓取，将不规则的复杂物体简化为简单物体。基于分割算法将被抓取物体3D数据点分割为主体和分支部分，依据最优拟合算法将各部分拟合为球体、椭球体、圆柱体、平行六面体中的一种，并依据简化结果对抓取位姿进行约束，再对简化后物体进行抓取训练，获取最优抓取框，从而实现对未知物体的自主抓取。本项目最终在Baxter机器人上实现了较高准确率的抓取操作，实验结果表明，该方法可应用于不同形状、不同位姿的未知非规则物体，具有较强的鲁棒性。.最后在智能双臂机器人实验硬件平台上构建基于肢体动作识别的多方式人机交互系统，通过建立多方式交互信息的语义理解模型，综合肢体动作，表情等多方式交互信息进行机器人的多方式人机交互实验，让机器人与用户实现多方式人机交互的过程，验证基于肢体动作识别的多方式人机交互性能，并建立多方式人机交互系统的评估机制，对多方式人机交互效果进行实验分析。.本项目针对双臂机器人在实际应用中自然人机交互的要求，通过肢体动作识别技术和多方式人机交互系统的研究提升机器人的交互性能，有利于机器人实际应用及产业化发展，同时对多方式人机交互实际应用效果进行评估，为多方式人机交互模式研究提供有利参考，对双臂机器人的推广应用具有实用性参考价值。