服务机器人的主动环境认知与目标行为识别方法

Service robot, which is becoming an important emerging strategic industry, is one of the powerful supports in our future economic development. This project mainly focus on two key technologies: active environment cognition and object action recognition based on the application scene of service robot and the requirements of complex task. Specifically, we will fuse the multi-source information from different sensors and investigate the complex scene classification, active complex scene cognition, and 3D semantic map reconstruction and navigation. To complete the complex action analysis tasks, we borrow the idea from the human vision cognitive mechanisms and employ the deep neural network to solve this challenge. Based on this, we mainly investigate the integrated model of human detection and pose estimation, the spatial-temporal detection (recognition or prediction) model of complex action. Finally, we will apply the developed methods to build the verification platform for active environment cognition and object action recognition of service robot and provide the key technology support for promoting the active development of service robot.

服务机器人正在成为重要的新兴战略性产业，是未来我国经济发展的有力支柱之一。本项目面向服务机器人应用场景的特点和完成复杂任务的需求,围绕主动环境认知与目标行为识别两类关键技术开展研究。针对非结构环境动态可变和内容结构复杂等特点，融合图像、深度等传感器获取的多源信息，研究复杂场景的分类、主动认知以及三维语义地图构建和定位导航技术；针对机器人完成复杂任务的要求，借鉴生物的视觉认知机理，利用深度神经网络作为主要工具，研究人体检测与姿态估计的一体化模型，研究复杂行为时空检测、识别与预测模型。最后，基于以上研究成果构建面向服务机器人主动环境认知与目标行为识别的系统验证平台，为推进服务机器人产业的发展提供关键技术支撑。

本项目面向服务机器人应用场景的特点和完成复杂任务的需求,围绕主动环境认知与目标行为识别两类关键技术开展研究。.在主动环境认知方面，针对非结构环境动态可变和内容结构复杂等特点，提出了用于语义解析的自适应金字塔上下文网络、基于任务递归学习的RGB-D场景理解方法，联合预测景深、平面法向量和语义分割的模式相似性传播框架；针对道路分割问题，提出了基于多源条件随机场下激光雷达和相机数据融合的方法和基于多视角雷达数据融合的道路分割网络；面向三维视觉感知中的点云数据，提出了三维孪生体素到BEV目标跟踪器、基于超点生成网络的点云过分割和基于金字塔点云自注意力网络的大规模点云位置识别等；此外，我们还提出了防止遗忘的在线单目视频深度估计方法，以及针对夜间环境的自监督单目深度估计算法。.在目标行为识别方面，面向服务机器人识别感兴趣目标（人和物体）的需求，提出了基于层次化在线实例匹配的行人搜索方法、基于几何分解表示学习的行人搜索方法，以及渐进式物体迁移的检测框架；针对人体行为的识别分析，提出了面向视频行为识别的姿态-行为3D机、SmallBigNet、双视野时空模型和通道张量化模型。针对当前视频数据库缺乏对人体行为精细标注的问题，建立了具有精细标定的视频行为理解数据库FineAction以及Kinetic-TPS，推动视频技术在服务机器人场景中的应用。此外，在视觉计算和模式分析的基础理论方面，提出了曲线距离度量学习算法和定位质量与分类联合表示的广义聚焦损失模型等。.上述研究成果在某种程度上可以有效推动各自领域的发展，并有望在服务机器人应用场景中得到广泛应用。