基于显著性共生结构的视觉计算模型和图像检索研究

How to establish an efficient visual computing model and apply it to image retrieval has become a research hotspot. The research objects are visual computing model and image retrieval. The main researches contents include visual feature extraction, the establishment of the saliency integration model and the capsule words model. According to the latest research results in the field of pattern recognition, deep learning and neurophysiology, we propose a color and edge feature extraction methods via simulating the biological mechanism, and a dynamic integration model via simulating the interaction of large scale neurons. On this basis, we further put forward Capsule-of-visual words model based on the salient co-occurrence structure, and apply it to image retrieval. There are two key scientific problems need to be solved, one is how to establish a saliency integration model that is more consistent with the visual neural mechanism, the other is how to minimize the so-called "semantic gap". The proposed dynamic integration model and Capsule-of-visual words model have made significant improvements to the traditional feature integration model and bag-of-visual words model. They can provide new ideas for the establishment of computational model more consistent with the visual neural mechanism and improve the performance of image retrieval.

如何建立高效的视觉计算模型并应用于图像检索已成为研究热点。本项目以视觉计算模型和图像检索为研究对象，主要研究内容包括：视觉特征抽取，建立显著图整合模型和Capsule词汇模型。依据模式识别，深度学习和神经生理学等领域的最新研究成果，提出一种模拟生物机制的颜色特征和边缘特征提取方法；提出一种模拟大规模神经元相互作用的动态整合模型；在此基础上，进一步提出基于显著性共生结构的Capsule词汇模型，并应用于图像检索。拟解决两个关键科学问题：(1)如何建立更加符合视觉神经机制的显著图整合模型；（2）如何尽量地缩小所谓的“语义鸿沟”。本项目提出的动态整合模型和Capsule词汇模型对传统的特征整合模型和视觉词汇模型均进行了重大改进。它们能为建立更加符合视觉神经机制的计算模型和提高图像检索性能等方面提供新思路。

建立高效的视觉计算模型并应用于图像检索已成为人工智能领域的研究热点之一。本项目致力于研究视觉计算模型和图像检索方法。（1）研究了如何利用传统低级特征来选择深度特征，将选择后的深度特征应用于图像检索，并提出了基于深层次特征直方图的图像检索方法，既克服了低级特征的缺点，又吸收了深度特征的优点，合理地兼容了两者的优势，提出了跨层次特征整合的思想。（2）研究了当显著性目标接触图像边界时，如何利用感知均匀颜色和形状区域来稳健地检测显著性目标，合理地解决了显著性目标接触图像边界所造成的检测失误;（3）研究了如何处理纹理特征与深层特征的兼容性难题，提出了基于深度纹理特征直方图的图像检索方法。它整合了深度特征和纹理特征的优势，为利用传统纹理特征来探索深度特征提供了新途径；（4）研究了低级特征，深度模型，图像降噪和特征整合等方面的技术，分别提出了若干种视觉表征方法，非局部Harr变换的图像降噪方法和基于偏色校正的除尘神经网络。它们在图像检索、图像降噪和图像除尘等方面已展现出良好性能。本项目提出了跨层次特征整合的思想，为整合不同层次特征，为建立更加符合视觉神经机制的计算模型和提高图像检索性能等方面提供新思路。已发表论文12篇，其中SCI收录12篇(中科院SCI一区3篇，中科院SCI二区3篇，中科院SCI三区2篇，中科院SCI四区4篇)，获七项国家发明专利授权。