基于概念格粒分析的图像语义自动标注方法研究

Centering on the key scientific problem being to solve"automatic semantic image annotation of different concept hierarchies ", the project is to make deep research on the method of automatic semantic image annotation based on the granular analysis of concept lattice. The main research works are as follows: granular representation and construction of the concept lattice oriented on BOV(bag-of-visterms),the formal context building technique of BOV, attribute reduction and fast construction of the concept lattice, the granular annotation of image semantic based on the concept lattice, reduction of visual vocabularies and automatic semantic image annotation based on the weighted concept lattice,and the automatic semantic image annotation system based on the concept lattice. By making fully use of the concept hierarchy characteristic of the concept lattice, the project not only contributes to generating different granularity of visual vocabularies and provides a new method for reduction of large high-dimension visual vocabularies, but also further improves the tagging precision of automatic semantic image through the effective recognition of synonym and polysemy. Finally,the project gives effective approaches and means for reducing the semantic gap between low-level visual features and high-level semantic concepts in the model of automatic semantic image annotation.

本项目围绕拟解决的关键科学问题 "不同概念层次的图像语义自动标注"， 拟对基于概念格粒分析的图像语义自动标注方法进行了深入研究，主要研究内容包括：面向视觉词包的概念格的粒表示和构造方法、视觉词包的形式背景构造技术、概念格的属性约简和快速构造算法、基于概念格的图像语义粒度标注方法、基于加权概念格的视觉词典约简和图像语义自动标注方法、基于概念格的图像语义自动标注系统。该项目的研究不仅充分利用概念格的概念层次性等特点，生成不同粒度的约简视觉词典，为大量高维视觉词典的约简将提供一种新方法；而且通过建立不同的粒度标注模型，有效地识别同义词和多义词，进一步提高语义自动标注的精度，从而为减小图像语义自动标注模型中低层特征与高层语义的鸿沟等问题，将提供一种有效手段和途径。

本项目针对科学问题 “不同概念层次的图像语义自动标注”，对基于概念格粒分析的图像语义自动标注方法进行了深入、系统的研究与探索，已完成了研究内容，取得了一定的研究成果，基本达到了预期的研究目标和效果。所取得的主要研究成果包括：提出了一种基于FWCL的视觉词典生成与分类方法。利用信息熵进一步获取了不同视觉单词的权值，标识了视觉单词在图像表示方面的不同重要性；通过动态地调整概念格外延数阈值，生成了不同大小的表示图像的各场景语义类别视觉词典和约简的全局视觉词典，有效地提高了图像场景分类的性能。提出了一种基于概念格层次分析的视觉词典生成与分类方法，从该层次结构上获取了粒度大小不同容量的描述图像各场景语义的约简视觉词典，删除了多义词，生成了有效描述图像场景语义的视觉词典，提高了分类精度。提出了一种概念格属性约简判定准则与快速约简算法，给出了概念格属性约简准则，并证明了约简结果的正确性。同时，给出了一种快速概念格属性约简算法，且算法的时间复杂度为o(n)，有效地降低了属性约简的时间复杂度，提高了约简效率，为简化概念格的约简步骤奠定了理论基础。提出了一种基于模糊概念格的视觉词典生成方法，利用模糊概念格层次化表示知识和多值映射的特征，通过不断缩小隶属函数的取值区间，约简了部分“噪声”视觉单词，寻找到一个场景分类精度较高的最优取值区间，有效地提取了表示某类场景的视觉单词集，进一步提高了图像场景分类的性能。提出了一种基于概念格的图像语义层次标注方法，利用粗细粒度概念格分别建立了基于BOV模型的视觉单词-对象中层语义，以及对象-场景高层语义之间的层次关联关系，实现了高层场景语义类别的标注，提高了图像语义标注性能。另外，开发了基于概念格的图像语义标注原型系统等。总之，其研究成果不仅为减小图像语义自动标注模型中低层特征与高层语义的鸿沟等问题，提供了一种有效手段和途径，而且也为概念格这种粒分析工具在图像理解领域中的应用研究，提供了一定的理论基础。该项目所取得的成果已在《Multimedia Tools and Applications》和《计算机辅助设计与图形学学报》等国内外学术刊物上，发表学术论文11篇，其中：CCF C 类1篇、EI刊物论文7篇，并在《科学出版社》发表学术专著1部。此外，在审SCI源刊论文2篇，EI源刊论文1篇，培养硕士研究生5名。