数据驱动的三维模型合成技术研究

With the rapid development of virtual reality and 3D printing technology, the demand for 3D geometric shape is increasing. How to synthesize 3D geometric shape efficiently becomes a problem to be solved urgently. The traditional geometric shape synthesis method requires users to have professional skills and work using professional software such as Maya and Autodesk, increasing the cost of 3D modeling, and limiting potential users. This makes it difficult for ordinary users to model and edit the required model easily. At the same time, more and more three-dimensional model resources appear on the Internet. An effective research direction is analyzing shape datasets and exploiting the characteristics of the distributions of their shapes to help ordinary users to easily edit and synthesize three-dimensional models. The key idea is to exploit the information from a shape set to help users to synthesize models efficiently and reduce their interaction workload. We are planning to do the research on the shape representation for large-scale deformations, shape analysis methods using a convolutional auto-encoder, data driven shape editing and morphing and automatic shape deformation transfer.

随着虚拟现实技术和3D打印技术的飞速发展，工业界对三维几何模型的需求日益提高，如何高效的合成三维几何模型成为目前工业界和学术界亟待解决的问题。传统的几何建模方法需要用户有相应的专业技能通过专业软件，如AutoDesk等进行建模。这提高了三维建模的成本，并限制了进行几何建模的群体，使得普通用户难以快捷的建模所需要的模型，进而也限制了用户在虚拟现实中添加模型的能力与进行3D打印的多样性。同时，在互联网上的三维模型资源越来越多，其来源于专业的艺术家或者通过激光扫描仪建模得到。如何利用互联网上的三维模型库来帮助普通用户对三维模型进行快速建模成为一个有效的解决思路。为此，我们需要研究数据驱动的三维模型合成方法，研究如何从三维模型库中挖掘出有效的信息来帮助用户生成所需的三维模型动画并降低用户的交互工作量。

随着虚拟现实和数字经济的快速发展，对高质量数字内容的需求日益迫切，如何高效的合成三维几何模型成为亟待解决的问题。传统的建模和驱动技术或者依赖于专业建模工程师和动画师大量的手工编辑制作或者依赖于成本高昂的三维激光扫描仪和运动捕捉设备，这使得创造或复刻高质量的数字内容存在高昂的时间成本和硬件成本，这给数字经济的快速发展带来了挑战。因此，本项目着重研究数据驱动的三维模型合成方法，研究如何从三维模型库中挖掘出有效的信息来帮助用户生成所需的三维模型动画并降低用户的交互工作量。.在本项目的资助下，负责人重点研究深度几何模型的表示、分析、合成与编辑。在三维模型的表示方面，研究可表示大尺度变形的几何特征，研究对具有复杂结构、精细几何细节与纹理的模型的表示方法；在三维模型的分析方面，研究三维模型的变形基底提取方法，对称属性检测方法，以及三维模型的分类与分割方法；在三维模型合成方面，研究全自动变形传播方法，研究数字人脸与人体的合成方法；在三维模型编辑方面，研究基于神经辐射场的编辑和风格化方法，研究基于草稿图的数字人脸编辑方法。负责人累计发表国际一流期刊或会议论文32篇（CCF A类论文25篇，基金第一标注7篇，第二标注12篇），包括在CCF A类期刊ACM Transactions on Graphics上发表论文5篇， IEEE Transactions on Pattern Analysis and Machine Intelligence上发表论文4篇， IEEE Transactions on Visualization and Computer Graphics上发表论文8篇， CCF A类会议SIGGRAPH Asia上发表论文1篇，NeurIPS、 CVPR、ICCV、AAAI上发表论文7篇，中科院一区、CCF B类期刊IEEE Transactions on Multimedia上发表论文1篇。申请专利19项，其中授权专利6项。相关研究工作入选ESI高被引论文，获得了CCF腾讯犀牛鸟基金卓越奖、中国计算机学会CAD&CG专委会图形开源奖和数据集奖等奖励，并在北大口腔医院和腾讯、阿里等公司应用。