稀疏表示框架下融合整体结构信息和局部平滑约束的高逼真人脸素描合成方法

Sparse representation has great potential applications in the field of face sketch synthesis. However, one drawback in image synthesis via sparse representation lies in its inefficiency. It is a key issue to make use of the face global structure constraint and the local smoothness constraint for face sketch synthesis as well as ensure the quality of synthesized sketch. In this research, we model the sketch synthesis problem as a convex optimization and solve it efficiently. The research includes the following aspects: (1) smoothness-constrained face sketch synthesis via sparse representation; (2) reliable face parsing based on random forest and level set; (3) coupled dictionary for face photos and sketches based on sparse coding; (4) face sketch fidelity evaluation based on the learnt local feature saliency weight. Initial experimental results show our synthesis method is effective.

稀疏表示在从人脸照片到人脸素描的合成中具有巨大的潜力。然而，稀疏表示在图像合成中的一个核心的问题是合成的效率问题。如何在保证合成质量的前提下加入：（1）人脸的整体五官结构约束和（2）图像的局部平滑约束并快速求解是亟待解决的问题。本项目旨在稀疏表示的框架下，探索包含人脸整体结构约束和图像局部平滑约束下有效合成方法，以期得到好的合成效果。本项目研究包括以下几个方面：（1）基于稀疏表示和局部平滑的人脸照片-素描合成方法；（2）融合随机森林和水平集的人脸照片和素描的精准五官分区；（3）稀疏编码耦合字典的构建；（4）基于人脸素描区域特征显著性的素描合成逼真度评估方法。初步的实验结果已验证了合成方法的有效性。

机器学习方法在从人脸照片到人脸素描的合成中有重要的作用。如何在保证合成质量的前提下加入：（1）人脸的整体五官结构约束和（2）图像的局部平滑约束并快速求解是亟待解决的问题。本项目在机器学习的框架下，特别是稀疏表示与深度学习方法，探索了包含人脸整体结构约束和图像局部平滑约束下有效合成方法，以期得到好的合成效果。项目在几个方面进行了研究：1）基于稀疏表示的人脸素描合成研究；2）利用条件生成对抗模型的人像照片自动生成素描的方法；3）基于非局部均值与拼接的人脸素描合成对人脸素描合成进行研究；4）综述了卷积神经网络在图像理解中的研究进展与典型应用；并在图像检测等领域做出研究。实验结果验证了方法的有效性。