基于视觉关键词层次模型的遥感图像检索研究

本项目试图从研究符合人类视觉感知特性的遥感图像检索理论、模型和方法出发，为解决目前遥感图像数据应用领域"数据又多又少"的矛盾提供全新的解决途径。本项目以从遥感图像复杂的视觉特征中提取符合视觉特性的语义场景信息为目标，研究遥感图像视觉关键词层次模型、遥感图像语义建模、基于视觉关键词的检索算法等内容。首先提出将遥感图像视觉特征抽象为包含低层视觉词汇、中层关键模式及高层语义信息的视觉关键词层次模型，分别表示视觉特征元素的集合表达、低层视觉词汇的代表性实例表达及图像场景信息的语义表达，并通过自动聚类和机器学习理论建立层次间的关联和映射；进一步研究不同尺度遥感图像视觉显著特征提取模型、关键模式搜索和视觉关键词语义描述方法；最后研究基于遥感图像显著点、主色调和纹理构建多类别关键词模型的方法及视觉相似性度量模型等。本项目的研究对于解决从海量遥感图像库中快速定位和查找感兴趣目标问题具有理论意义及实用价值。

本项目研究符合人类视觉感知特性的遥感图像检索理论、模型和方法，以解决目前遥感图像数据应用领域"数据又多又少"的矛盾。.（1）.遥感图像视觉关键词层次模型. 遥感图像可表示为从像素到局部显著特征或基元、目标对象和场景的层次模型，在模型的各层次上都包含一系列描述视觉信息的视觉词汇。本项目将视觉关键词按级别分为低层视觉词汇、中层关键模式及高层含有语义的视觉关键词三个层次。通过这种层次化的特征表达方式，建立了遥感图像的视觉关键词层次模型，进而能够从视觉特征中提取语义信息，缩小了低层特征与高层语义之间的“语义鸿沟”。.（2）.遥感图像语义建模. 遥感图像语义建模具体包括视觉显著特征提取、关键模式拟合及搜索、视觉关键词语义描述三个方面，是本项目的关键技术所在。视觉显著特征提取主要研究显著点、主色调和纹理特征的提取方法，从遥感图像中挖掘出包含更多语义信息的视觉特征；关键模式拟合和搜索主要研究各类视觉显著特征空间中的特征聚类方法，在此基础上获取了各类视觉特征的聚类中心，即关键模式；视觉关键词语义描述主要研究多个关键模式表达为一个语义关键词的组合机制，以及不同类型的语义关键词对标识图像贡献率的计算方法，以此为基础统计了各语义关键词在图像中出现的频率，进而构建了遥感图像中的视觉关键词特征矢量。.（3）.基于视觉关键词的检索算法. 基于已获取的分别描述图像的显著点、主色调和纹理特征的三类视觉关键词，分别构建了各特征类别的视觉关键词模型。为了更好地进行基于视觉关键词的遥感图像检索，研究了检索图像与目标图像的语义视觉相似性度量模型及基于该模型的检索算法，并提供了相应的视觉空间检索性能评价方法。. 总之，本项目借鉴了传统文本检索领域中用关键词表征文档语义的思想，实现了从遥感图像视觉特征到语义场景的映射，提高了检索的准确度，为海量遥感数据的管理提供了一个很好地解决思路。