基于图像的三维几何与功能建模技术研究

Currently most 3D modeling techniques require professional equipment and software for professional users. The modeling process is time-consuming and laborious, which is not suitable for ordinary users and blocks the development of personalized manufacturing and creative design. We propose a novel framework of image based 3D modeling of geometry and function, which automatically produces dynamic 3D models from input images. The 3D models conform to the functional characteristics of real objects, and can be directly used for 3D printing and dynamic function demonstration. In this way, we can effectively avoid the traditional process of "modeling - manufacturing - error - revising", and significantly promote the efficiency of design and manufacturing. Within the framework, we plan to research on 1) structure analysis and understanding of images, 2) 3D geometry recovery based on structure analysis, 3) 3D geometry optimization conforming to the functional characteristics of objects, 4) dynamic 3D modeling for design and 5) VR/AR based visualization and editing system. We expect the research achievement effectively promotes the application of 3D modeling techniques in personalized manufacturing and creative design.

当前的主流三维建模技术需要使用专业设备以及为专业用户开发的建模软件。建模过程耗时费力，且不适合普通用户使用，阻碍了个性化制造与创意设计的发展。本项目提出基于图像的三维几何与功能建模技术框架，自动地从输入图像中构建出符合物体功能特征的动态三维模型。构建出的模型可直接用于3D打印和动态功能展示，有效避免了传统的“建模-制造-错误-修改”的流程，显著提高了设计与制造效率。为此，我们将重点探索：1）图像的结构分析与理解；2）基于结构分析的三维几何恢复；3）符合物体功能特征的三维几何优化；4）满足设计需求的三维动态建模；5）基于VR/AR平台的模型可视化和编辑系统。预计本项目成果将有效促进三维建模技术在个性化制造与创意设计中的应用。

传统三维建模技术依赖于专业设备和专业建模软件，建模过程耗时费力，不适用于面向普通用户的消费级应用，限制了三维内容的普及。本项目提出基于图像的三维几何与功能建模技术框架，重点研究图像的结构分析与理解、基于图像结构分析的三维几何和功能建模、基于深度学习的运动智能推演等重要科学问题。在项目支持下，我们取得了多项重要研究成果，其中发表CCF A类论文19篇，均为计算机图形学和计算机视觉的顶级期刊论文和顶级会议论文，包括ACM Transactions on Graphics (ACM TOG) 5篇，IEEE Transactions on Visualization and Computer Graphics (IEEE TVCG) 3篇，CVPR 3篇，ICCV 1篇，AAAI 4篇，IJCAI 1篇，ACM MM 2篇。研究成果涵盖图像的结构分析与理解（常见对象图像的分析与合成、人脸图像的分析与表情迁移、通用图像的实例分割、基于对抗生成网络的无监督图像生成、人脸图像的睫毛扣取等），基于图像结构分析的三维几何和功能建模（基于图像的机械装置建模、基于图像的可编辑物体建模、基于图像的虚拟人脸建模、人体运动功能建模等），基于深度学习的运动智能推演（基于高阶深度神经网络的非刚体运动智能推演、基于神经网络的非线性物理形变智能推演、基于对抗生成网络的人脸表情运动推演、基于联合自编解码器的衣服运动推演等）。上述成果均达到国际一流水准，且同时具有较高应用价值，已申请国家专利4项。总体而言，项目成果对于三维智能建模技术的发展具有积极推动作用，对于虚拟现实、移动互联网等新兴产业有重要支撑作用。