基于风格迁移的异质图像识别

Heterogeneous image recognition refers to recognizing the same object from the images of different modalities. As the all-round development of the application layer industry based on artificial intelligence, the heterogenous image recognition has become a critical yet challenging task in intelligent security, intelligent manufacturing system and so on. To reduce the difference between heterogenous images and the difficulty of direct recognition, we begin by transfering the heterogenous images into homogenous ones, then recognize the homogenous images. In practical application, most original data in reality is insufficient, resulting in the estimaton error. And the transformation from direct to indirect recognition can cause the loss of specific information. However, the state-of-the-arts pay less attention on how to cleans and augment the data, keep the specific information and mine the deep feature, leading to unsatisfactory recogntion perfomance. In this research, we propose a heterogenous image recognition based on style transfer. (1) Metropolis-Hastings generative and adversarial networks are designed to cleans and augment the data. Then a deep low-rank representation framework is proposed to transfer the heterogenous images into homogenous ones. (2) A neural network is introduced to the probabilistic graphical model, generating the deep probabilistic graphical model. The loss of specific information is suppressed during transfer. (3) Cosine densely connected convolutional neural networks are applied to dig out the deep information, such that the performance of recognition is improved.

异质图像识别是指对不同类型图像中同一目标的识别。随着人工智能应用层产业的全面发展，异质图像识别成为了智能安防和智能制造业系统等产业的新型研究热点。为了减少异质图像的差异，降低直接识别的难度，可以将异质图像先迁移为同质图像，再进行同质图像的识别。在现实应用中，绝大部分原始数据存在缺失问题，会造成有偏估计，且将异质图像的直接识别转换为间接识别，会丢失识别目标中的特有信息。然而现有方法忽略了数据清洗扩充、特有信息保留和特征充分挖掘的研究，导致识别准确率难以满足应用需求。本项目拟开展基于风格迁移的通用异质图像识别工作：（1）利用蒙特卡洛-黑斯廷斯生成对抗网络清洗扩充数据，设计深度低秩表示框架，迁移异质图像为同质图像；（2）在概率图模型中引入神经网络结构，构成深度概率图模型，完整迁移图像中便于识别的特有信息；（3）利用余弦密集卷积神经网络，充分挖掘深层信息，优化同质图像的识别。

异质图像识别是指对不同类型图像中同一目标的识别。随着人工智能应用层产业的全面发展，异质图像识别成为了智能安防和智能制造业系统等产业的新型研究热点。为了减少异质图像的差异，降低直接识别的难度，可以将异质图像先迁移为同质图像，再进行同质图像的识别。在现实应用中，绝大部分原始数据存在缺失问题，会造成有偏估计，且将异质图像的直接识别转换为间接识别，会丢失识别目标中的特有信息。然而现有方法忽略了数据清洗扩充、特有信息保留和特征充分挖掘的研究，导致识别准确率难以满足应用需求。本项目以异质图像为研究对象，从风格迁移方法出发，旨在传统算法中引入神经网络，将异质图像风格迁移为同质图像，再进行同质图像的识别，以实现异质图像的精准识别。本项目实现了基于深度低秩表示的风格迁移算法、基于深度概率图模型的风格迁移算法，建立了基于风格迁移的通用异质图像识别系统，有效提高异质图像迁移质量和同质图像识别准确率，为通用异质图像识别技术在实际应用中提供了新的途径。此外，本项目还研究了图像目标检测、图像对抗生成、神经网络可解释性、图像理解等异质图像识别可能涉及的底层视觉任务。经过不同阶段的深入研究，本项目解决了：1）基于动力学系统启发的数据扩充；2）复杂的非线性高阶函数回归；3）多个网络层的交互知识挖掘三个关键的科学问题，实现了扩充模型所需的训练数据，在概率图模型中引入神经网络，以及挖掘多个网络层的交互知识三个关键技术，完成了图像超分辨率、异质图像的风格迁移、同质图像的识别检测的工作。