海量图像数据的混合媒质建模理论和融合检索技术研究

以海量的包含多媒质特征的图像数据为研究对象，针对其在语义认知和检索技术上的瓶颈，总结当前研究在融合分析和集成创新方面的不足，以图像多特征融合分析的思想为指导，引入图分析、模式分析等数据挖掘理论，提出一套以混合媒质建模理论和多特征融合检索技术为核心的海量图像数据管理方案。重点研究：基于混合媒质链接图分析的语义自动标注模型；基于划分图理论的启发式分类算法，提供动态快速的图像语义分类；基于多特征融合分析建立有效的多特征索引结构，提供灵活高效的融合检索机制；集成以上系统性研究成果，实现海量图像语义检索原型系统，验证所提出的方法。借鉴一系列典型图分析和模式挖掘理论算法，解决图像数据多样性和复杂性带来的管理和查询问题是一种新颖的研究思路，具有深远的理论意义。图像是视频的基础，项目研究成果不仅能给网络图像搜索、数字图像管理等科学发展提供更好的支持，同时也为视频管理和检索提供理论基础。

本项目预期目标是针对海量图像数据存在的多煤质特性，突破混合煤质融合分析和检索技术上的瓶颈，引入图分析和模式分析等数据挖掘理论算法，提出多特征无缝融合的检索框架，研究语义标注、语义分类、子空间匹配索引、多媒质特征融合索引等关键技术。项目自开展以来基本按计划进行，研究了链接图分析理论，对已标注图像训练样本集分析建立其多模态特征及对象的混合媒质关系图，实现了基于链接图分析的自动标注算法；分析了图像视觉特征之间、文本标注之间的相似匹配和关联性，提出了结合多媒质特征的融合检索框架；基于图建模的理论基础对图像分类、图像推荐问题展开研究，实现了基于图划分的启发式快速图像语义分类算法；结合关联分析及模式挖掘理论，实现了动态子空间索引算法；同时将频繁模式、序列模式、以及结构模式分析引入图像特征语义分析，构建了索特征索引结构；最终集成以上系统性研究成果，实现了海量图像语义检索原型系统。随着地理信息标注图像的应用发展，项目在原有的研究框架下，扩充了对包含地理信息标注的图像集的语义分析、语义分类等技术研究。针对图像地理坐标信息与文本标签信息的语义不匹配问题，设计一种结合图像地理空间信息和语义特征的双层聚类算法，将地理标注图片集形成属性均匀的语义簇，进而提高图像检索结果的准确性。同时还用统计学模型建模图像地理位置与文本标签间的关系，设计出一种同时将图像数据点与文本标签进行聚类的正则化二元聚类算法。将上述地理信息图像语义分析成果和空间数据库的空间位置索引技术、基于三部图的图像语义传播算法等结合，设计出一套完整的对地理标注图像进行语义标注的解决方案。项目还进一步将研究对象扩展到同样具有多媒质特征的音频数据上，在原有框架下，展开对音频推荐、索引等算法的研究。区别于现有音频文件推荐研究，本项目研究引入人的因素，从用户本身音色特征分析的角度，建立音色特征与适合歌曲的音乐文件的联系，提出了基于个人发声能力的音乐推荐算法，实现了音乐推荐原型系统。