基于深度学习的跨模态三维几何处理方法研究

With the development of the internet, a lot of visual media data are contructed, there is a paradox between the easiness in the model generation and the difficulty in the processing and analysis. The main problems in the geometric modeling for data times are the reuse of data and correspondence between data set. We always deal with the global feature and semantic information by using deep learning. Sketch modeling is easy and intuitive, and it can grasp the main idea of the human being and solve the lack of the interaction of the deep learning. We use the GAN, sketch and image to study the retrieval, segmentation and deformation of the 3D modeling and develop some optimization method of our topic. The above study is a rising area between computer graphics, human interaction, machine learning and internet, and our study is not only of great sinificance in theory but also very useful in application and provide foundation algorithm for AI, big data and VR.

伴随着互联网的发展，大量可视媒体数据不断被创建出来，图形学中出现了模型产生容易和处理分析困难之间的矛盾。数据时代几何建模的主要问题是数据的重用及数据间的对应。由于三维模型特征刻画比较困难，其整体特征及内在语义信息的处理往往采用深度学习的手法。草图建模简捷而直观，能很好体会人的设计和思考，很好地克服深度学习方法交互性差的问题。 本项目以对抗性网络与草图、图像交互相结合的方式，着力研究三维模型的检索、分割、变形，并进而探索在此研究过程中的若干优化算法。上述问题的研究，横跨计算机图形学，人机交互，机器学习和互联网检索，是一个有前景的应用基础学科，其研究不仅有理论意义和应用前景，而且对人工智能、大数据及虚拟现实等相关产业提供了算法保障。

伴随着互联网的发展，大量可视媒体数据不断被创建出来，图形学中出现了模型产生容易和处理分析困难之间的矛盾。数据时代几何建模的主要问题是数据的重用及数据间的对应。由于三维模型特征刻画比较困难，其整体特征及内在语义信息的处理往往采用深度学习的手法。 本项目计划以对抗性网络与草图、图像交互相结合的方式，着力研究三维模型的检索、分割、变形，并进而探索在此研究过程中的若干优化算法。 上述问题的研究，横跨计算机图形学，人机交互，机器学习和互联网检索，是一个有前景的应用基础学科。..在项目运行的 2019-2022 年，项目组围绕数字几何处理、跨模态特征学习及风格迁移、图像预处理、深度学习的理论创新以及最优化基础等几个方面开展研究，取得了若干研究成果。项目组除继续用传统方法探索网格处理外，逐步引进数据驱动方法来进行网格变形及特征分析。 我们积极考虑采用图像为媒介来处理三维模型，为此还围绕图像本身的增强、分割开展了一系列研究工作。项目组分析了文本-图像之间的跨模态特征学习，同时研究了图像间的风格迁移问题，为跨模态数据处理探索了新的方式。项目运行期间，深度学习的发展十分迅速。项目组抓住其主要发展趋势，围绕深度学习架构、可解释机器学习、小样本机器学习等领域开展研究工作，并在理论上有若干探索。项目组成员也在最优化问题领域取得了一些进展，从组合优化到随机优化，乃至深度学习中关注的随机梯度下降方法。上述研究方向围绕深度学习，跨模态特征及数字几何处理，也都有所进展，为进一步开展此类研究奠定了扎实的工作基础。