随机映射框架下的图像语义分析与提取技术研究

The research of image semantic analysis and extraction is of great theoretical value and practical significance for image semantic retrieval, intelligent video surveillance and robot navigation. Currently, Bag of Visual Word is the state-of-the-art algorithm in image semantic analysis domain. However, the existing methods suffer from disadvantages of low generation efficiency, poor robustness and visual words' synonymy and polysemy. To solve these problems, this project aims to break through the framework of current BoVW construction and research on randomized mapping based image semantic analysis and extraction technology. Especially, this project will focus on three key problems, that is randomized mapping based BoVW construction, optimization and visual vocabulary features extraction. Firstly, expand and improve randomized mapping algorithm, meanwhile constructing more distinctive and robust BoVW based on it. Secondly, through design the proper semantic similarity measure, mine and employ latent semantic association among different visual words, thus to compress and optimize the original BoVW. Finally, through construct semantic co-occurrence matrix, mine and employ the spatial and contextual information among different visual words, thus to extract more correct and efficient visual vocabulary features. Research of the project is expected to obtain more robust and efficient image semantic extraction methods, which can provide theoretical and practical supports for image semantic retrieval and other applications in big data environment.

图像语义分析与提取对大数据环境下的图像语义检索、智能视频监控以及机器人导航等应用具有重要的理论价值和现实意义。视觉词典模型是当前图像语义分析的主流方法，但现有方法在构建视觉词典时存在生成效率低、稳健性差以及视觉单词的同义性和歧义性等问题。基于此，本项目拟突破现有的视觉词典构建框架，研究随机映射框架下的图像语义分析与提取技术，重点研究随机映射框架下视觉词典的构建、优化和视觉词汇特征提取三个关键问题。首先，对随机映射进行拓展和改进，基于随机映射框架构建区分性和稳健性更强的视觉词典；其次，通过设计语义相似性度量准则，挖掘视觉单词间的潜在语义关联，压缩优化初始视觉词典；最后，通过构造视觉单词语义共生矩阵，挖掘利用视觉单词的空间上下文信息，提取更准确有效的视觉词汇特征。通过对上述问题的研究，有望获得更稳健高效的图像语义提取方法，为大数据环境下的图像语义检索等应用提供理论支撑和技术支持。

面对海量的图像信息，如何准确、高效地实现图像资源的标注、分类、检索等各项工作，已成为当前智能信息处理的研究热点，其关键是图像语义分析与提取技术。本项目主要研究随机映射框架下的图像语义分析与提取技术，重点研究了随机映射框架下视觉词典的构建、视觉词典优化和视觉特征提取技术及其在目标分类检索中的应用。主要研究成果有：（1）研究了基于哈希映射的视觉词典生成方式，针对哈希函数选取过程随机性强而导致视觉词典质量不稳定的问题，提出了一种基于弱监督E2LSH的视觉词典生成方法。（2）在基于弱监督E2LSH的视觉词典生成方法基础上，研究与之对应的中层语义表示模型，针对传统视觉语言模型将背景区域单词与目标区域单词赋予同样权重，忽略了背景噪声对目标语义内容表达不利影响的问题，构建显著图加权视觉语言模型，提出了一种基于弱监督E2LSH与显著图加权视觉语言模型的图像语义表达方法。（3）针对检测算子产生大量相似性关键点以及生成的视觉词典中包含视觉停用词的问题，提出一种基于关键点过滤和卡方模型的视觉词典生成方法。在基于关键点过滤和卡方模型的视觉词典生成方法基础上，研究与之对应的中层语义表示模型，针对特征点与视觉单词映射匹配时量化误差严重，而导致视觉词汇直方图对图像语义表达能力不强的问题，设计一种近义词自适应软分配策略来构建视觉词汇直方图，提出了一种基于近义词自适应软分配和卡方模型的图像语义表达方法。（4）研究了基于学习编码的视觉词典生成方式及与之对应的中层语义表示模型，针对当前常用的学习编码方式，只是一种浅层学习模型，而导致视觉词典对图像特征缺乏选择性的问题，提出了一种基于深度学习编码模型的图像语义表达方法。（5）研究了度量学习技术，针对当前距离度量学习方法计算复杂度高，难以适用于大规模数据的问题，提出了一种基于特征分组与特征值最优化的距离度量学习方法。综合上述研究成果，本研究为图像语义分析与提取的模型构建、优化及语义特征提取奠定了坚实的工作基础；同时对进一步深度挖掘图像的语义上下文信息提供了重要的启示性线索。