跨模态图像翻译方法研究

Cross-modality image-to-image translation refers to the representation from one image modality to another image modality of a certain scene, namely the mapping problem from image pixels to image pixels. Many classical computer vision problems have fallen into the category of cross-modality image-to-image translation, such as image super resolution reconstruction, image denoising, face portrait-photo synthesis, image style transfer, etc. This project intends to conduct the research work from the following three aspects: 1. Research on cross-modality image-to-image translation framework. We will propose a general image translation method to solve the problem that current image translation methods are only designed for specific tasks. 2. Research on the enhancement of cross-modality image-to-image translation. We are going to conduct the research of image translation enhancement via dividing it into near mode and expansion mode image translation enhancement method according to the similarity among different modalities. We intend to respectively propose a piecewise linear fast near mode image translation enhancement method and a nonlinear generative adversarial networks and reflection projection based expansion mode image translation enhancement method. 3. Research on image translation quality assessment. We are going to propose a deep convolution network based framework to evaluate whether the quality of the translated image is good or not, and whether the translated image is like or not like the reference image. Through the research of this project, we hope to provide efficient and reliable image translation tools for public health service, public security, defense industry and so on.

跨模态图像翻译指从某一场景的一种图像模态表示为另外一种图像模态，即从图像像素到图像像素的映射问题，很多经典计算机视觉问题可以归纳到跨模态图像翻译范畴，例如图像超分辨率重建、图像去噪、人脸画像-照片合成、图像风格转移等。本课题拟从三个方面开展研究。（1）跨模态图像翻译框架研究，拟提出一个通用型图像翻译方法，解决目前图像翻译方法针对某一具体任务而设计的问题。（2）跨模态图像翻译增强研究，拟将图像翻译增强按照不同模态间图像的相似性程度分为近模态与扩模态图像翻译增强方法研究，拟分别提出一种分段线性的快速近模态图像翻译增强方法和一种非线性的基于生成对抗网络和反射投影的扩模态图像翻译增强方法。（3）跨模态图像翻译质量评价研究，拟提出一种基于深度卷积网络的框架以评价翻译后图像质量的“好不好”以及与参考图像的“像不像”问题。通过该课题的研究，为公共医疗、公共安全、国防军工等提供高效可靠的图像翻译工具。

跨模态图像翻译是指在给定足够训练数据的情况下将某种模态的输入图像表示为另一种模态的输出图像。根据具体应用的不同，跨模态图像翻译表现为不同的具体任务，例如人脸照片-画像合成、图像超分辨率重建、图像风格迁移等。本项目以异质图像对、低分辨率图像和多模态数据为研究对象，为高效可靠的跨模态图像翻译系统提供理论依据和技术保障。具体上，本项目研究了基于深度一致特征表示与概率图模型的人脸画像合成算法对人脸照片和画像进行异质图像分析；同时提出了基于双注意力风格内嵌的语义风格迁移方法，实现了不同艺术风格的图像间的风格转换；然后，研究了图像盲超分辨率重建的不可导优化学习问题，为图像质量提升提供技术手段；其次，本项目重点研究了翻译后图像的客观质量评价方法，通过模型选择与参数优化调整进一步提高算法性能，相关成果已经实现技术转化。依托本项目，荣获2020年全国创新争先奖，2020年教育部自然科学一等奖，2020年中国图象图形学学会自然科学二等奖，2019年陕西省科学技术一等奖，2019年入选中国自动化学会自动化与人工智能创新团队；发表与课题相关并标注本基金资助的学术论文共计92篇，其中国际知名期刊（IEEE T-PAMI, T-NNLS, T-IP, IJCV和Pattern Recognition等）论文63篇，中文期刊论文2篇，中国计算机学会推荐的A类国际会议（CVPR、ICCV、IJCAI、AAAI和ACM MM等）和计算机视觉顶级会议ECCV论文27篇；获得国家发明专利授权20项。培养博士生12人，硕士生17人。