利用多模态特征的图像搜索关键技术研究

This research will develop key techniques for CBIR image retrieval based on multimodal features. CBIR can obtain information of unknown objects via inputting an image, while it is difficult for image retrieval with texts. The task contains: ranking model design and multi-model feature extraction. Ranking model will be based on manifold regulation, exploit different features, find the optimal similarity measures and kernels, design hierachical ranking models, devise ranking models combining features, or graphs, or models, develop ranking model for an object from images with multi objects. For feature extraction, we will devise schemes to resolve and combine features,look for the smallest features as feature elements and suitable manifold clustering, develop approaches to merge feature elements to get local features and object features with spatial structure. We will exploit the shared and related information between multi modal features using graph models and cooccurence probability models, predict concepts of object features based on text features and labels,design object representation with multi modal features and graph models for objects instead of images.

本项目拟研究利用多模态特征的CBIR图像搜索关键技术。以图像为核心输入的CBIR搜索可以实现对"未知物体"的信息搜索，这是文字搜索难以完成的任务。本项目的研究内容包括：排序模型设计和多模态特征提取技术。排序模型的研究方法是基于流形正则化框架，挖掘不同模态特征的特性，研究对应的相似度度量模型和核函数，研究模型迁移的分步排序模型设计方法，研究特征、图、模型融合的排序模型设计，研究多物体图像的针对物体的排序算法。多模态特征提取技术的研究，一是研究图像特征的组合与分解，研究最小的图像特征元素的提取与流形聚类，研究从图像特征元素上升到图像局部特征、图像物体特征的方法，以及如何添加相关的空间特征等。二是基于图模型和共生概率模型，挖掘特征之间的共享信息和关联信息，依据文字特征的语义，预测图像物体特征的语义，根据已知样本，修正图像物体特征，赋予语义，研究物体特征的统一表达，以及物体，而不是图像，的图模型。

本项目研究利用多模态特征的CBIR图像搜索关键技术。以图像为核心输入的CBIR搜索可以实现对"未知物体"的信息搜索，这是文字搜索难以完成的任务。本项目的研究内容包括：排序模型设计和多模态特征提取技术。排序模型的研究是挖掘不同模态特征和不同物体之间的关系，研究特征的相似度度量、多物体关系分析和相应的排序算法。多模态特征提取技术的研究，一是研究图像特征的组合与分解方法，研究物体完备特征的提取方法。二是基于图模型和共生概率模型，挖掘多模态特征之间的共享和关联信息，研究物体特征的统一表达方法。.本项目发表国际期刊和会议论文28篇，其中23篇论文是CCF A类论文，包括国际顶级期刊IEEE T-PAMI论文2篇，国际顶级会议NIPS、ICML、SIG KDD论文4篇，入选ESI高被引论文5篇（Top 1%），入选ESI热点论文1篇（Top 0.1%），单篇最高ESI引用126次。另外，申请发明专利2项。.重要科研成果包括：1、多模态的完备特征空间学习算法，提取的特征较为完备，支持双重功能，例如图像分类和重建；2、多模态的目标物体的特征提取算法，从图像中仅提取目标物体的特征，抑制其他物体的信息，支持针对对象的识别功能；3、综合多模态、多物体信息的矩阵填充算法，整合多模态的物体特征，发掘物体之间的相关性，使其相辅相成，且能够解决少量数据缺失的问题；4、Rademacher复杂度最小化的多标签学习算法，发掘物体之间的低秩结构，利用物体之间的相关性，辅助物体识别。5、大间隔的多任务多模态学习算法，利用多任务学习发掘与利用多物体之间的关系；利用多模态矩阵同时学习各模态的特征和多模态组合系数，利用大间隔准则选择有区分力的模态特征。.另外，在深度学习方面，我们针对主流的卷积神经网络的计算量大，存储要求高的问题，开展了卷积神经网络的压缩、优化研究。取得的成果有，1、提出了卷积滤波器的频域压缩算法，通过DCT变换、聚类、稀疏、量化、编码等处理措施，减少权重参数的数量，降低卷积神经网络的计算和存储负担；2、提出了特征图的降维算法，利用循环矩阵降维，去除特征图之间的冗余数据，减少特征图数量，降低卷积神经网络的计算和存储负担。