实时双模态自动图像软标注与多关键词检索

自动图像标注是当前图像检索领域中的关键和热点问题。其中，融合视觉与文本信息的标注是近年来引人关注的发展方向。本项目综合考虑软标注结果的获取与利用问题，通过融合图像的视觉与文本描述信息，得到支持多关键词检索的自动图像软标注方法，用于实时准确地获取表示图像语义的关键词及其可信度，据以进行可靠的多关键词检索。主要研究内容包括：1）为了提高图像视觉分类的实时性和准确性，研究高效可扩展性好的视觉符号统计模型及其学习方法。2）为了提高关键词语义相关性度量的准确性，研究基于机器学习的不同途径语义相关性度量融合方法。学习目标是更好的图像标注效果，与视觉分类器一致，以利于文本与视觉证据的融合。3）为了使多关键词检索能够容忍标注错误和能够处理以否定形式提交的查询要求，研究可计算多关键词联合概率的双模态证据融合模型及其学习方法。我们将对所提出的方法进行理论分析，并在Web环境下进行实验验证和评价。

按照项目计划书的要求，以基于内容的图像检索为应用背景，对融合视觉与文本信息的自动图像软标注问题进行了比较系统的研究，包括图像统计建模与判别学习、相关性度量、数据索引与检索、并行计算等四个方面。在图像统计建模与判别学习方面，提出了高斯混合模型的判别学习方法、基于视觉符号统计建模的图像表示方法、基于Fisher准则与遗传优化的特征选择方法、以及基于混淆矩阵的多分类器融合方法。在相关性度量方面，提出了基于神经网络的语义相关性度量融合方法以及融合视觉与语义信息的改进随机游走方法。在数据索引与检索方面，提出了基于GMM聚类的高维多特征数据索引方法、基于多级过滤的相似性检索方法、以及利用在线学习改进基于文本的图像搜索结果的方法。在并行计算方面，提出了沿均值搜索的CMA-ES进化策略优化算法以及速度向量方向不变的粒子群优化算法。在常用数据库上的实验结果表明所提出的这些方法是有效的，在此基础上整合研究成果，开发了基于内容的图像检索演示系统，具有较好的演示效果。