感知素材可交互内容编辑与生成理论及方法

Along with the fusion of human, computer and object, the information science and technology are changing our ways of working, living and thinking. In the fusion process, massive perceivable data are generated in the information space, which, however, are often difficult to interact with. As a consequence, the development of human-computer interaction enviorement becomes somehow slow for lacking such interactable content. Toward this end, this project focuses on a fundamental problem that is becoming the hotspot in international research fields such as virtual reality, human-computer interaction, computer graphics, computer vision and big data. That is, how to describe content attributes and aggregate multi-domain/multi-class knowledge for knowledge-driven editing and generation of interactable contents? To address this problem, this project will develop several theories and approaches for data-driven editing and generation of interactable contents with visual and haptic attributes, including: interactability analysis and attribute description, visual and haptic content understanding, knowledge representation and knowledge graph construction, knowledge-driven editing and generation of 3D models, etc. Eventually, a theoretical system for interactable visual/haptic content editing and generation will be constructed. A series of scientific papers will be published on the top journals and conferences. The products of this project, e.g., patents, devices and benchmarks, will have independent intellectual property rights. Several outstanding young scientists involved in this project will be trained as well. Moreover, this project will demonstrate a wide prospect in industrial applications.

人机物融合的信息科学技术正在改变人类的工作、生活和思维方式，其数据规模日益庞大，但是可感知内容多、可交互内容少，制约了人机物的融合、人机环境的发展。本项目立足虚拟现实、人机交互、计算机图形学、计算机视觉和大数据等研究领域的国际前沿，针对基础科学问题“如何描述感知素材可交互内容及其属性、并聚合多域跨类的属性知识，以知识驱动可交互内容的编辑与生成”，以视觉、力觉为代表，深入开展感知素材可交互内容编辑与生成理论方法研究，力争取得感知素材内容的可交互性分析及其属性描述、支持交互内容理解的视觉力觉感知素材解析、素材驱动的可交互内容知识表达与图谱构建、知识驱动的可交互内容构建编辑与迁移生成等方面的理论创新与技术突破，初步形成视觉力觉素材可交互内容编辑生成理论系统。预期将发表系列高水平论文，以发明专利、新型装置、基准数据集等形式，形成具有自主知识产权的研究成果，培养优秀中青年科技人才，开展典型应用示范。

人机物融合的信息科学技术正在改变人类的工作、生活和思维方式，面临人机物融合空间“可交互内容少”等富有挑战性的基础问题。.本项目围绕感知素材可交互内容编辑与生成，以视觉、力触觉为代表，深入开展了感知素材内容及属性的分析与理解、感知素材内容的知识表达和语义解析、可交互内容的知识聚合与编辑生成、交互引导的三维内容自动构建生成、视觉/力触觉感知交互及装置等方面的理论方法研究。.取得的创新点主要包括：提出了感知素材内容的对象精准提取、显著对象分割、三维信息感知等模型与方法，其关键性能具有显著优势；提出了感知素材内容的视频对象级、图像部件级、三维部件级语义解析模型与方法，其部分性能具有领先优势；提出了三维模型的几何学习、部件映射、结构生成、组合生成等理论模型与方法，拓展了知识聚合驱动的可交互内容编辑生成技术途径；提出了三维部件与运动属性的联合学习、未知场景自动三维重建、稠密场景自动三维重建、交互场景三维自动构建等理论模型与方法，开拓了交互引导的感知内容自动构建生成技术途径；发现了引入静电振动的柔性膜触感呈现特性，在国际上首次量化表征了静电振动柔性膜的触觉纹理呈现的生理心理感受阈限，研制了柔性对象的表面触感呈现及裸指交互系列装置、六自由度力觉模拟及装置，探索出视觉力触觉感知交互的新方式。.开展了面向国家安全、航空航天、智能制造、数字医疗、互联网及数字经济等重要行业的应用示范；发表/录用领域A类国际期刊与会议论文52篇、力触觉交互领域顶级国际期刊与会议论文8篇；发明专利中国授权14项、美国授权18项；计算机软件著作权12项；培养国家优秀青年科学基金获得者2名、博士11名、硕士16名。.本项目按照计划完成了研究任务，实现了研究目标，系统性地形成了具有自主知识产权的理论模型、理论方法、技术方法、交互装置、数据集与应用示例等研究成果，促进了相关研究领域及交叉方向的发展，在国家重要行业具有广阔的应用前景。