CBIR中的高层语义特征提取和多特征的因素空间分析方法

针对图像基于内容检索(Content-Based Image Retrieval,简称CBIR)中的多特征综合和图像高层语义特征提取与表达进行研究。首先为CBIR引入一种新的图像特征进行属性表达，即基于生物学启发的特征(Biologically-inspired Feature，简写BIF)，在此基础上结合提取图像的其他低层视觉特征，从而得到图像的多种单一特征；然后用模糊集理论上发展起来的因素空间理论对图像的多特征进行分析，尤其是用因素空间理论中"变权"的思想分析出图像各种特征的重要性，从而形成图像的低层综合特征；再者，针对人们通常具有根据图像语义特征进行图像检索的习惯以及其中存在的各种问题，深入研究模糊逻辑理论中"变论域"的思想在图像高层语义特征提取中的应用，这里主要是在已经提取出来的多种单一特征及其综合特征的基础上提取语义特征；最后根据图像的低层综合特征和高层语义特征一起完成图像检索。

针对彩色图像的基于内容检索，搜集了12个图片库，选用图片特征中，颜色特征有：HSV颜色直方图、颜色布局、颜色相关直方图、加权主颜色、颜色聚合向量等；纹理特征有：灰度共生矩阵、LBP的几种形式；形状特征有：边缘直方图、HOG、SIFT的几种形式. 将这些特征进行组合以便更加全面的表达图片内容，而且在个别单一特征提取过程中还用到动态金字塔策略，特征组合后采用了PCA降维. 检索系统，一是用欧氏距离进行相似性比较以寻找和查询图片相似的图片，二是再进一步采用SVM集成分类器反馈的检索. 在SVM集成分类器反馈检索中，还设计了非对称正样本打包和非对称负样本打包策略解决反馈过程中的正负样本不均衡的问题，采取了随机子空间策略抽取不同特征维度进行实验，由此构造出多个SVM分类器用于检索. . 在Corel 1000图片库上分析和试验了约24个特征组合方案，在SIFT的几种形式和LBP的几种形式以及其他几种颜色特征(比如颜色相关直方图、颜色聚合向量等)组合之前，进行了HSV颜色直方图、边缘直方图、灰度共生矩阵、3D-LBP、HOG以及基于小波变换的特征组合，得到四个特征组合方案，效果最好的是第四个：HSV颜色直方图的动态提取和3D-LBP基础上的小波变换以及HOG特征的提取等，并撰写了一篇论文和一个专利；后来加入sift几种形式的关键点特征和其他几种形式LBP纹理特征，又找到其他颜色特征(比如颜色自相关直方图、颜色布局、加权主颜色、颜色聚合向量等)，经过了20个特征组合的检索实验，最终得到检索效果最好的是：动态提取的128维颜色相关直方图和R、G、B三通道各提取的59维一致LBP共177维纹理特征以及200维rg-SIFT特征组合方案，在用欧式距离比较相似性的前提下的前20的平均查准率达到78.57%、前100平均查全率已经达到56.359%，这两个指标已经超越了我们关注到的所有在Corel 1000图片库上试验的文献，撰写论文一篇. 然后在SVM集成分类器检索环境下，得到前20的平均查准率为92.26%, 前40的平均查准率为81.563%, 以及前100的平均查全率为60.577%，鉴于反馈检索指标的又一次大幅提升，再次撰写论文一篇.