基于关键点图表示的近重复文本图像匹配研究

Near-duplicate document images refer to the images captured from the same document but under different conditions. They are usually varied in resolution, perspective and illumination, et al. Near-duplicate document image matching plays a significant role in building digital libraries. Besides, it has received a lot of attention in the field of computer vision. Taking into consideration the characteristics of the document image, a near-duplicate document image matching approach is proposed in this project. Hopefully the proposed approach will achieve promising results and be able to give a deep insight into document image representation and matching. Two key issues involved in near-duplicate document image matching, viz. image representation and similarity measurement, will be investigated. To represent a document image, the keypoints will be first detected thanks to their great distinctiveness. Furthermore, the spatial configurations among the keypoints will be fully exploited. More specifically, the keypoints in the image will be clustered based on their distributions, with the number of clusters determined automatically. Afterwards, a graph will be constructed to represent the image, where the nodes in the graph correspond to the clusters and the edges represent the relations between different clusters. Consequently, the measurement of similarity between two images is transformed to graph matching. An inexact graph matching method allowing for many-to-many node mapping is proposed, which is remarkable in coping with the disparities among the near-duplicate images.

近重复文本图像是指从同一个文本在不同条件下拍摄得到的图像，图像之间在分辨率、视角以及光照等多方面均存在差异。近重复文本图像匹配在建立数字图书馆中起着重要作用，并且是计算机视觉领域一项基础研究课题。本项目结合文本图像自身特点，研究近重复文本图像匹配方法，期望通过本研究为文本图像的表示以及匹配提供新思路。本项目围绕近重复文本图像匹配中的两个核心问题开展研究：图像表示以及相似性度量，具体包括：提出一种基于关键点的文本图像表示方法，为了在表示图像过程中充分利用关键点之间的空间位置关系，将图像中的关键点根据其分布特性自动聚类，并且类别数目无需事先确定；研究基于聚类结果将图像表示为一个图，其中图中每个顶点代表一个聚类，图中的边则刻画不同聚类之间的空间位置关系，由此图像相似性度量转化为图匹配问题；研究允许顶点之间多对多映射的非精确图匹配方法，以提高对近重复文本图像的图表示之间所存在差异的鲁棒性。

近重复文本图像是指从同一个文本在不同条件下拍摄得到的图像，图像之间在分辨率、视角以及光照等多方面均存在差异。近重复文本图像匹配不仅是计算机视觉领域一项基础研究课题，而且在很多领域中有实际应用。本项目围绕近重复文本图像匹配中的两个核心问题开展了深入研究：图像表示与相似性度量。具体来说，主要完成了如下五方面的研究工作：1)比较了不同的关键点检测算子与描述算子在刻画文本图像方面的性能，实验结果表明DOG关键点检测算子与SIFT描述算子这一组合取得了最优性能。2)根据文本图像上关键点的分布特性，利用基于密度的聚类算法DBSCAN对其聚类。3)将聚类结果表示为一个图，其中图中顶点代表一个聚类，而图中的边则代表该边所连接两个聚类之间的位置关系。4)借助运输模型实现了允许顶点多对多映射的非精确图匹配。5)建立了一个近重复文本图像数据集。大量实验结果表明本项目所研究的方法对近重复文本图像之间所存在的差异具有很好的鲁棒性。