面向机器人自主操作的人体上肢行为识别-模仿学习研究

Human upper limb activity recognition and imitation learning is the key point to achieve flexible & natural human-robot interaction and safe & intelligent human-robot cooperation, which also has a wide application prospect in virtual reality and rehabilitation, etc. The main problems of the existing recognition and imitation methods include the relying of special sensors, the low precision detection of regions of interest (RoIs), lacking of semantic modeling and imitation learning of simple task. Inspired by cognitive science, we plan to investigate vision based limb activity in uncontrolled environment from three successive points: 1) weakly-supervised multi-subject RoIs segmentation to provide accurate candidate regions for feature and semantic learning; 2) multi-label classification based on semantic modeling and recurrent neural network to achieve a high-level cognition of hand-object; 3) reward function learning and policy search methods based on the above models to help robot accomplish fast self-taught of sequential, relatively complex manipulation tasks. The desired achievements will provide new strategies for “intelligent cognition and self-taught manipulation” of robot, and enhance the interdisciplinary researches in cognitive science, image processing and robot.

人体上肢行为识别和模仿学习研究，是实现机器人与人灵巧自然“互动”和安全智能“共融”的研究热点，并在虚拟现实、康复治疗等领域有广泛应用前景。本项目针对现有上肢行为识别-模仿研究中存在的依赖特定传感设备、兴趣区域定位精度低、语义建模不足、模仿-强化学习任务单一等亟需解决的关键问题，受认知科学研究启发，对无约束环境下、视觉感知的上肢操作行为从三个方面层层递进地开展研究：1）基于弱监督学习的多目标兴趣区域分割方法，为后续特征选择和语义学习提供准确候选区域；2）基于语义关系和递归神经网络的多标签分类，实现人手-操作物体语义的深度理解，提高泛化性；进一步设计3）基于上述视觉模型的奖赏函数学习-策略搜索算法，实现连续、较复杂操作的快速自主学习。项目研究成果将为机器人"智能认知-自主操作学习"提供新的解决方案，并将加强认知科学与图像处理、机器人之间的交叉融合。

人体上肢行为识别和模仿学习研究，是实现机器人与人灵巧自然“互动”和安全智能“共融”的研究热点，并在虚拟现实、康复治疗等领域有广泛应用前景。本项目针对现有上肢行为识别-模仿研究中存在的依赖特定传感设备、兴趣区域定位精度低、语义建模不足、模仿-强化学习奖赏函数难以确定、自适应性差等亟需解决的关键问题，开展研究工作。主要包括：无全监督标签、噪声标签存在情况下的人-物体操作交互图片/视频的迁移学习、半监督、弱监督、空间关系建模以实现1）目标分割，2）多标签分类-检测；以及多种3）机器人移动-操作自主行为产生强化学习方法，如在线的引导策略搜索方法，引入情绪调控的决策方法等。另外研究了资源受限情况下的事件触发控制、文本识别等机器人控制和模式识别方法。. 在本项目的支持下，在相关领域累计发表SCI论文10篇（Q1论文5篇）；EI会议论文4篇；中文核心期刊1篇。申请发明专利3项，其中授权2项，公布1项。相关成果获得了中国自动化学会科学技术奖励发明奖一等奖（2018）年，项目负责单位排名第一，项目负责人在本单位内排名第二。. 与多个科研院所建立了持续学术合作关系，搭建了深度学习软件平台及移动机器人-机械臂平台，并进行了落地应用探索，将相关成果应用到了“智慧苗圃”等行业。