基于多特征张量表示与低秩稀疏分解的图像检索问题研究

As an important research interest of information retrieval, image retrieval is widely used in medicine, education, military, national security and other fields. Image retrieval technology has developed greatly now. But drawbacks, such as low robustness and low retrieval accuracy are really exist. Considering the drawbacks of the current image retrieval technology, we will explore new solutions to improve the robustness and accuracy of image retrieval. In order to improve the robustness of image retrieval, the low-rank sparse decomposition theory will be introduced in the field to solve the performance degradation caused by the image degradation due to the environment. From the representation of the information content of the image and the relationship between the low-level vision feature and the high semantic feature, the traditional vector description will be replaced with a variant named multi-feature tensor description to represent the information content of the image more completely and accurately. Moreover, the low-rank sparse decomposition is employed to construct over-complete semantic dictionary. To eliminate the gap between the high-level semantics and the low-level features of image, the low-level features of image are decomposed under the over-complete semantic dictionary, and then the decomposition coefficients are obtained. Finally, combining the sparse degree of the decomposition coefficients and the stable low-level features, the retrieved images can be found. The research of this topic can effectively promote the development of image retrieval technology.

图像检索是信息检索的重要研究方向之一，它在医学、教育、军事、国家安全等领域具有广泛的应用。虽然当前图像检索技术已取得了较大发展，但仍面临着鲁棒性差、检索准确性低等缺陷。本课题将以现有技术存在的不足为出发点，研究提升图像检索鲁棒性与准确性的解决方案。针对图像检索鲁棒性的提升，本课题拟将低秩稀疏分解理论引入到图像检索中，用来解决因环境因素造成的图像质量下降所导致检索性能的降低；在提升图像检索准确性方面，本课题将从图像内容信息的表示以及底层视觉特征与高层语义之间的关联出发，采用多特征张量表示来取代传统的特征向量表示，实现对图像内容信息的全面准确描述；通过低秩稀疏分解理论来构建超完备语义字典，将图像数据特征在超完备语义字典下进行稀疏分解，实现底层视觉特征与高层语义之间的关联；最后，结合分解系数的稀疏程度以及稳定的底层视觉特征实现最终图像检索。本课题的研究能有效促进图像检索技术的发展。

项目主要研究了图像检索问题尤其是行人图像检索的相关问题。具体包括自然场景中文字的检测，多源图像信息融合，行人图像检索等。其中，自然场景中文字的检测能为图像内容的检索提供技术上的便利。因为图像中文字信息往往反映了图像的内容，如果能检测出自然场景中文字的位置，通过OCR技术识别出文字，将有助于基于图像内容检索的实现。开展多源图像信息的融合，主要是考虑将不同传感器获得的关于同一场景的图像信息整合到一幅图像中，来提升图像内容描述的准确性。在行人图像检索方面，开展了有监督学习的行人图像检索，和无监督的行人图像检索，均取得了一定的研究进展。. 具体地，在自然场景的文字检测中，以字典学习和多成分分析理论为基础，实现了自然场景文字与图像内容信息的分离和表示建模，提出从分离出来的文字成分中检查文字区域，避免图像内容对文字检测造成的干扰。针对多源图像的融合，分别研究了基于字典学习的医学噪声图像的融合与去噪，多源图像的融合与去噪，不同尺寸的源图像的融合与任意尺寸的放大等。在行人图像的检索方面，研究了基于字典学习的有监督行人图像检索方法,为解决行人图像特征判别性有限提供了一种技术参考。此外，研究了无监督域自适应的行人图像检索方法，综合利用了行人外貌特征具有较高判别性与行人属性所具有的域不变特性，实现了无监督跨域的行人检索问题，解决了语义属性和视觉特征之间的关系建立。. 目前基于深度学习的行人图像的检索面临着两个问题：(1)基于深度学习的特征表示方法，提取到的特征仅限于输入的图像，而不具有多视角的想象能力。 (2)传统基于对抗学习的域不变特征提取，通常使用判别器和特征提取网络进行对抗训练来获得。当鉴别器鉴别不出输入的特征来自哪个域时，认为该特征是域不变的。这种方法容易提取到域一致的特征，却易造成判别性特征的丢失。为解决上述问题，我们研究提出了双重机制的对抗学习与信息想象推理网络，有效提升了无监督跨域的行人图像检索性能。