基于主题发现的图像语义理解与识别

由于语义鸿沟的存在，如何建立从图像的低层特征到高层语义的映射模型成为当前研究的热点。本项目瞄准图像的语义理解和识别这一前沿课题，借鉴人类感知系统的信息处理机制，从图像数据的概率主题建模出发，研究图像语义映射的新理论和新方法，并在图像目标识别、场景分类和自动标注等任务中进行验证和性能分析。主要研究内容包括：研究基于有效编码理论的图像视觉特征的提取算法及其融合模型；研究图像数据的概率主题建模方法和分类算法，提出新的有效的图像语义学习方法；在发现图像数据语义主题的基础上，研究图像语义分类、识别和自动标注的模型和方法；分析、比较现有的语义表征方法和模型，研究新的语义描述模型，使其能够有效地支持图像理解应用。本项目的成果可以应用于计算机视觉、模式识别等多个领域，具有重要的理论意义和实用前景。

本项目瞄准图像的语义理解和识别这一前沿课题，研究图像语义映射的新理论和新方法，并在图像自动标注、语义检索、场景分类、目标跟踪等任务中进行验证和性能分析。主要研究内容包括：研究图像视觉特征的提取算法及其融合模型；研究图像数据的概率主题建模方法和分类算法；研究图像自动标注和场景分类的模型和方法；研究新的语义描述模型，使其能够有效地支持图像理解应用。. 依托本项目发表（录用）学术论文42篇，其中SCI&EI双收录的期刊论文8篇，SCI收录的期刊论文2篇，EI收录的期刊论文9篇，EI收录的国际会议论文10篇。目前获发明专利授权1项，受理1项，获软件著作权1项。项目所取得的研究成果主要体现在以下几个方面：(1) 研究图像自动标注和语义理解的方法。提出混合生成式和判别式模型的图像自动标注方法、基于模糊关联规则和决策树的图像自动标注方法，提出新的图像特征点的提取算法和结构相似度编码算法，并提出集成多种查询方式的图像语义检索框架和能有效描述机器知识的逻辑框架。(2) 研究图像的分类和聚类算法。提出基于多示例多标记学习的图像和文本分类算法、基于混合框架和集成特征的图像场景分类方法、集成约束和度量的半监督聚类方法以及基于监督LDA的协同滤波算法。(3) 研究视觉目标跟踪方法。提出一种基于双核的视觉目标跟踪方法、一种结合k-means聚类和可判定稳定区域的鲁棒的目标跟踪方法等几种目标跟踪方法。(4) 研究图像哈希算法。提出基于环形划分和非负矩阵分解的图像哈希算法、结合颜色向量角度和离散小波变换的图像哈希算法、基于环形熵的鲁棒图像哈希算法等。. 本项目的主要成果不仅可以成功应用在图像语义映射相关领域，经过适当改进也可以应用于文本分类、数据挖掘、跨媒体检索等多个领域，具有重要的理论意义和应用前景。