基于视觉差异特征的跨域图像匹配方法研究

Human visual system can easily recognize object with unique features in different scenes. This “cross domain image matching” ability is stable by illumination, color, viewpoint, scale, occlusion, and it is robust with different carrier such as photo, sketch or oil painting. Simulating the human visual perception ability for cross domain image matching is one of the essential problems in the field of image matching. To solve this problem, in this project we plan to research and develop a novel distinctive visual feature driven based cross domain image matching model. Inspired by the theory and recent improvements of cognitive physiology science and neuroscience, we start the research work from three aspects, which contain visual perception modeling, cross domain visual feature set creation, and distinctive visual feature extraction and classification. The research content of this project mainly include three parts: (1)human visual perception mechanism inspired cross domain image salient region extraction, (2)low level cross domain visual feature unit creation,(3)distinctive cross domain visual feature extraction and learning, and(4)designing and development of dataset and experimental platform for performance evaluation. The research project will provide theory foundation and experimental references for many application fields such as cross domain image retrieval and recognition in internet and multi-sensor image registration and fusion, and it has important theoretical and practical value.

人类视觉系统能够轻易在不同场合中辨别具有明显特征的事物，这种“跨域图像匹配”能力既不会受光照、色彩、视角、尺度、遮挡等因素影响，也不会因为照片、素描、油画等载体的差别而减弱。如何模拟人类视觉感知能力进行“跨域图像匹配”是当前图像匹配领域的难点问题。本项目在借鉴认知生理学和神经科学的基础上，从视觉感知建模、跨域视觉特征集合构建、跨域视觉差异特征提取与分类三方面出发，研究一套新的视觉差异特征驱动的跨域图像匹配模型与方法，包括: (1)研究视觉感知机理启发的跨域图像显著区域提取方法；(2)研究跨域图像底层视觉特征单元构建方法；(3)研究视觉差异特征选择与分类器学习算法；(4)构建专用数据库与性能测试平台,对跨域图像匹配方法进行实验验证和评估。本项目的研究将为互联网跨域图像检索识别，异源传感器配准等领域的相关研究提供理论基础和实验依据，具有重要的理论和应用价值。

随着成像传感器性能的不断发展和类型的不断丰富，同一事物来自不同成像载体、不同成像光谱、不同成像条件的跨域图像也日益增多。为了高效地利用这些数字资源，往往需要综合多种不同的成像传感器以获得更加全面丰富的信息。跨域图像匹配就是研究如何在不同视觉域图像进行匹配，相关课题已经成为当今计算机视觉领域的研究热点之一。本项目在借鉴人类视觉系统跨域匹配机理的基础上，从视觉感知建模、跨域视觉特征集合构建、跨域视觉差异特征提取与分类三方面出发，深入研究了基于“视觉差异特征驱动”的跨域图像匹配模型及相关算法，建立了一套更加完备的多视角、多载体跨域数据库，并在视觉差异特征提取与描述、不同视觉域关系构建、跨域图像匹配性能评估等方面取得了多项研究成果，提出了基于显著性检测的跨域视觉匹配方法、基于视觉词汇翻译器的跨域图像检索方法、基于共生特征的跨域图像匹配方法、基于可迁移表征的可见光到红外光跨光谱行为识别方法和基于视角不变表征的跨视角行为识别方法，实现了跨视角、跨载体图像之间的鲁棒匹配，一定程度上解决了制约跨域图像匹配的关键问题，为多传感器协同、异质视觉配准与融合、异源图像检索等相关技术提供了理论基础和技术支撑。