三维物体的智能理解和交互技术研究

This project aims to combine 3D sensing, computer graphics and AI to assist in robot intelligent exploration and cognition for complex 3D scenes, and the key is the research of intelligent 3D object understanding and interaction technology. Functionality, as the most essential attribute of objects, play a crucial role in this project. The goal of this project includes: 1) build a large-scale database of 3D objects organized based on functionality, where different from most of the existing datasets, each object will be associated with multiple possible functionality labels and each object functionality is explicitly represented using interaction context around the object; 2) based on this large-scale dataset, use latest deep learning techniques for multiple functionality identification and corresponding interaction context generation for any given 3D object in isolation; 3) predict the interaction type and regions to better guide the robot to understand and interact with 3D objects. This project will promote the development of theoretical research on high-level 3D shape analysis and open up the new application directions like functionality-guided intelligent robot interaction with 3D objects.

本项目旨在将三维感知、计算机图形与人工智能相结合，辅助实现面向复杂场景的机器人智能探索和认知，而其中的关键就是对于三维物体的智能理解和交互技术的研究。功能性作为物体最本质的属性，是本项目的研究核心。本项目的研究内容和目标包括：1）构建一个大规模基于功能组织的三维模型库，有别于现有的数据库，本功能数据库中每一个物体将被赋予多个功能标签表示它所能支持的多个功能，并且辅助以不同的交互场景来显式刻画不同的功能；2）在这一数据库的基础上，利用最新的深度学习技术，优化三维物体和功能场景之间的相似性度量，对给定的单个三维物体进行全面的多功能判别，并自动生成与物体所支持的每一功能对应的交互场景；3）对生成交互场景中的不同交互方式进行分类，并对中心物体上的交互区域进行准确预测，用于引导机器人与物体的交互。本项目的进行将会推动三维形状高层次分析等理论研究的发展，并开拓以功能性为引导的智能交互等应用方向。

本项目旨在将三维感知、计算机图形与人工智能相结合，辅助实现面向复杂场景的机器人智能探索和认知，而其中的关键就是对于三维物体的智能理解和交互技术的研究。功能性作为物体最本质的属性，是本项目的研究核心。本项目的研究内容和目标包括：1）构建一个大规模基于功能组织的三维模型库； 2）在这一数据库的基础上，利用最新的深度学习技术对物体的功能性进行分析；3）通过分析引导机器人与物体的交互。本项目围绕上述内容展开了系统性的研究，取得了一系列创新性成果。相关成果发表均发表在图形学领域国际顶级货权威会议及期刊，包括CCF A论文16篇，CCF B 2篇，授权5项美国发明专利和8项中国发明专利，提交2项发明专利申请，登记6项软件著作权，超额完成了预期目标。