面向服务机器人的人体动作分析与识别

With the rapid development of service robot technology and application in recent years, service robot has become an essential subarea of robot industry, which is of great industrial and social value. However, the overall intelligence for service robots is still at a low level, which cannot be directly applied to complex natural environments. As human action recognition is the basis of service, the study on the human action analysis and recognition for service robots in natural environments is vital to improving the intelligence of service robots and promoting the development of service robot industry. This project aims at improving the ability of human action recognition for service robots in complex environment which will be validated on real systems, focusing on the four key issues of granularity sensitivity, perception initiativeness, human robot interaction, and operation safety. On the basis of the above motivations, the key challenges of multi-granular and multi-modal human action recognition, initiative perception based human action recognition, human recognition under interacted environment, and efficient human action prediction and recognition will be studied. This project will construct theoretical and methodological systems for human action recognition of robots, publish series of high-level academic papers on international authoritative journals and conferences, and obtain independent innovation achievements with academic impacts in the international community.

服务机器人技术近年来发展迅速，已经成为机器人产业的重要细分领域，具有重大的产业和社会价值。现有的服务机器人技术总体上智能水平偏低，难以直接应用于复杂多变的开放环境中。人体动作识别是机器人服务于人的基础，研究开放环境下的人体动作分析与识别方法，对于提升服务机器人的智能水平和促进服务机器人产业的发展极为重要。本项目将从粒度敏感性、感知主动性、人机交互性和工作安全性等四个关键问题入手，分别在多粒度多模态人体动作识别、主动感知人体动作识别、交互场景人体动作识别和快速高效人体动作预测与识别等方面深入开展研究，着力提高复杂环境下人体动作识别能力，并在服务机器人实际系统上进行验证。本项目的研究将建立面向机器人的人体动作识别理论与方法体系，在国际权威期刊和会议上发表系列高水平论文，并取得具有国际影响的自主创新成果。

本项目深入研究了开放环境下人体动作分析与识别方法，在主动感知识别、交互场景识别、快速高效预测等方面取得了创新成果。提出了基于多尺度分层注意力机制的视频动作摘要学习、基于自注意力模型的视频显著性预测方法、基于过程感知的视频动作质量评价、基于提示学习的序数动作理解等主动感知系列方法，基于反事实分析的视频行人轨迹预测方法、基于推抓协同的密集场景目标抓取方法等交互场景识别系列方法，基于近邻保持哈希学习的大规模视频检索、基于歧义性注意的状态演进视频动作预测方法等快速高效预测方法。项目按照预定计划执行，顺利完成了预定目标。项目负责人以第一/通讯作者发表（录用）学术论文100篇，其中国际期刊论文37篇，国际会议论文63篇。项目负责人入选2019年北京智源人工智能研究院青年科学家，当选国际模式识别学会会士（IAPR Fellow），亚太人工智能学会会士（AAIA Fellow），获2021年度国家自然科学基金委员会杰出青年基金资助。本项目部分成果获2020年中国电子学会自然科学一等奖。