基于图像的头发建模技术研究

Hair is a vital component of human traits. It is very difficult to reconstruct 3D hair models because of its complexity, such as the large number of hair, small diameter, complicated shape and structure. This project will research image-based 3D hair modeling theories, methods and key technologies, and provide new ways and means for realistic hair modeling. It has important scientific significance and application values in virtual reality, system simulation, movies and entertainment, et. al. The main contents of this project include four parts: (1) developing a data acquisition system which can capture static and dynamic hair data from multiviews; (2) proposing a static hair modeling method so that the 3D models are close to those captured images, hair growth and hair distribution fit the characteristic of the human body；(3) proposing a dynamic hair modeling method, which can provide smoother motion and realistic hair geometry, it also can handle curly hair; (4) proposing a real-time, controllable and realistic 3D hair editing method, which can extract, deform and replicate static hair geometric features, and visually transfer dynamic hair movement characteristics among different hairstyles. We will develop a hair modeling and editing tool.

头发是人类特征的重要组成部分。一个正常人的头发数量大，直径微小，形状、结构很复杂，因而头发建模难度非常大。本项目研究基于图像的头发建模理论、方法和关键技术，为真实感头发建模提供新的方法和途径，对促进头发在虚拟现实、系统仿真、影视娱乐等领域的应用具有重要的科学意义和应用价值。主要研究内容包括：研制数据采集系统，多视点采集静态和动态头发数据；提出模型外表接近采集图像、头发生长和分布更符合人体特征的静态头发建模方法；提出动态头发建模方法，使头发运动更平滑，头发几何模型更逼真，可以处理卷发模型；提出实时、可控、视觉逼真的三维头发编辑方法，使静态发型的几何特征可以提取、变形和复制，动态发型的运动特征可以在不同发型间进行视觉真实的移植，研制头发建模、编辑工具原型系统。

本项目围绕基于图像的头发建模方法开展研究工作，研究成果如下：（1）研制了头发数据采集系统，从多视点采集静态和动态头发数据。研究了相机标定算法，采用深度学习方法，提取采集图像中头发区域的图像数据特征。（2）研究了基于多幅图像的逼真静态头发建模方法，提出了一种从混合方向场构建真实头发模型的方法。通过生成的混合场，发丝从均匀分布的发根生长出来，使用能量最小化策略优化生成的头发模型，从而使得生成的头发模型能够保持发型的结构细节。（3）研究了基于单幅图像的静态头发建模方法，提出了三种方法：第一种，基于方向场和螺旋线匹配的头发建模，用三维螺旋弧匹配头发的几何结构，生成视觉上合理的发丝段表示的三维头发模型；第二种，基于数据驱动的三维头发建模，根据用户输入的特征发丝，计算其对应样例发型并构建方向场，从头皮追踪生长发丝，得到三维头发模型；第三种，基于深度学习的头发重建方法，用深度卷积神经网络对图像中头发区域分割，基于深度学习策略自动提取引导发丝，最后基于候选发型的匹配和融合重建出逼真的三维头发模型。（4）研究了动态头发建模方法，提出了一种基于时空优化的动态头发重建方法，能够有效重建出头发自由运动的动态头发模型。提出了一种基于数据驱动的三维头发运动合成方法，通过构建发丝对应和运动控制策略生成目标发型运动序列。（5）研制了三维头发模型编辑、重用工具。以单幅肖像图像作为输入，通过用户的简单交互重建出逼真的三维头部模型，该工具还实现了模型的绘制渲染和纹理变换等应用操作。在国内外重要学术期刊和会议上发表论文30篇，其中SCI检索6篇，EI检索24篇；CCF推荐期刊会议论文10篇。获中国发明专利授权9项，受理11项，获批软件著作权2项。在本项目资助下，2名博士生毕业，6名硕士生毕业。