面向单肖像图像视频光影绘制的高分辨率人脸材质与几何重建研究

Image based portrait lighting is a hot research topic in computer graphics and computer vision. The research purpose of this project is the high-fidelity portrait image/video relighting and the challenges of this projects are: single view, facial reflectance model with pore level detail and facial wrinkles modelling. Therefore, the primary works of this project are: Data set of high-resolution facial geometry and material, Facial reflectance and micro geometry generation network based on skin attribute and Single portrait image/video relighting. The technical contributions of this project will be: Facial reflectance procedure model based on facial skin property, and Portrait video relighting. Furthermore, this project will build a HD facial reflectance and micro geometry data set and develop the image-based portrait relighting software. The research contributions of this project will find wide application in the field of film production, interactive entertainment, public security and so on. The typical applications are automatic generation of digital actor, portrait image illumination editing and multi-light face data set for face recognition.

基于图像的光影绘制生成是计算机图形学、计算机视觉等领域的研究热点与难点。本项目面向肖像图像视频的高逼真光影绘制需求，立足相关方向的国际技术前沿，针对“单相机条件”、“毛孔级人脸材质”、“皮肤褶皱级几何”以及“基于图像的光影绘制”等技术难点，重点开展多维度高分辨率人脸材质与几何数据集构建、皮肤属性驱动的高分辨率人脸材质几何生成、基于单个图像视频的肖像光影逼真绘制生成等方面的关键技术方法研究。力争在皮肤属性驱动的人脸皮肤材质参数化模型、基于图像的人脸材质几何生成网络、肖像视频光影绘制等方面的理论方法创新。并构建覆盖度较广的高分辨率人脸材质与几何数据集，研究开发相应的软件工具。本项目的研究工作在影视制作、互动娱乐、安防监控等行业领域具有较广阔的应用前景，例如：数字化演员的自动构建、肖像图像光影编辑、针对人脸识别的多光照训练集构建等。

数字化身/虚拟演员在影视制作、互联网直播、数字娱乐、智能医疗等领域有着广泛的应用。随着信息行业的不断发展，应用场景对数字化身的呈现逼真度要求越来越高，数字化身的高逼真呈现是虚拟现实、计算机图形学以及计算摄像学等科学研究领域的国际前沿的研究方向。本项目针对虚拟肖像光影逼真呈现涉及的皮肤材质重建、几何形状处理、图像光影迁移技术开展研究。提出了一种基于单幅微距图像的人脸表面微小几何重建方法，提高了人脸皮肤材质重建便捷度与效率；提出了多模态数据引导的人脸三维重建方法，能够重建出输入人脸的三维模型；人脸多尺度网格分割与重组方法，实现了不同三维脸型的组合生成；人脸多尺度网格形变方法，实现了三维人脸的精确配准；基于图像空间的人脸光影迁移方法，实现肖像图像逼真的光影生成效果。..项目成果已在口腔手术模拟系统、腹腔镜手术模拟系统、虚拟问诊系统进行了集成，提高了三维肖像呈现的逼真度和软体形变的真实感。相关的模拟器已在全国多所医学院进行了推广应用，在逼真呈现与软体形变效果方便得到了应用单位积极正面评价。依托本项目共发表了学术论文4篇，获得了2021电子学会科技进步一等奖，2022中国产学研合作促进会产学研合作创新成果奖一等奖，获得国家发明专利授权1项，计算机软件著作权3项，培养硕士研究生7名，其中3名同学获得北航硕士学位。