语义深度理解驱动的图像及文本统一检索研究

In the process of image retrieval, the user's retrieval intention may be ambiguous, or the user lacks understanding of semantic information of input image, which makes the image retrieval results difficult to understand and evaluate, and the retrieval quality is difficult to guarantee. We carry on image and text unified retrieval research based on semantic deep understanding, and the basic starting point of the research is to narrow the semantic gap between the image primitive semantics information and the human perception information. Aiming at the problem of object recognition and classification accuracy in complex multi-label images, we propose a novel training algorithm, which pre-trains deep neural network using single-label image and fine-tunes the deep neural network using multi-label image. At the same time, we can reduce the candidate boxes combining with objectness detection technology. Aiming at the isomorphism problem of heterogeneous feature spaces of image and text, we propose heterogeneous space mapping and normalization algorithm to construct unified feature vector model based on deep canonical correlation analysis, and we use the normalized feature to tune deep neural network training process and optimize image and text feature extraction model. In order to improve the user’s experience of image and text unified retrieval, a novel image and text semantic automatic summary algorithm is proposed. We consider retrieval time, image and text semantic relevance, user satisfaction and other factors, and a subjective and objective combined sorting and recommendation algorithm is proposed. Finally, we can narrow the semantic gap and achieve efficient and accurate semantics image and text unified retrieval.

针对用户检索意图模糊或对输入图像语义信息了解不足导致图像检索结果难以理解和评价、检索质量难以保障的场景，课题以缩小图像底层信息和人类感知信息间的语义鸿沟为基本出发点展开研究。针对复杂多标签图像中的物体识别和分类精度问题，提出使用单标签图像对深度神经网络框架预训练、多标签图像微调的新颖训练算法，同时结合似物检测技术，进一步筛选并减少候选框的数量；为解决图像与文本之间异构特征空间的同构化，基于深度典型相关性分析，提出异构数据空间映射与归一化算法，构建特征向量统一模型，并利用归一化特征修正网络训练算法，联合优化图像和文本的特征提取模型；为了提升用户检索体验，提出新型的融合图像和文本的简洁语义自动摘要算法，并综合考虑检索时效、图像与文本语义相关性、用户满意度、结果呈现友好性等多种因素，提出主客观结合的图像及文本检索结果排序与推荐算法，最终跨越语义鸿沟，实现高效、准确、富含语义的图文统一检索。

针对用户检索意图模糊或对输入图像语义信息了解不足导致图像检索结果难以理解和评价、检索质量难以保障的场景，课题以缩小图像底层信息和人类感知信息间的语义鸿沟为基本出发点展开研究。针对复杂多标签图像中的物体识别和分类精度问题，提出使用单标签图像对深度神经网络框架预训练、多标签图像微调的新颖训练算法，同时结合似物检测技术，进一步筛选并减少候选框的数量；为解决图像与文本之间异构特征空间的同构化，基于深度典型相关性分析，提出异构数据空间映射与归一化算法，构建特征向量统一模型，并利用归一化特征修正网络训练算法，联合优化图像和文本的特征提取模型；为了提升用户检索体验，提出新型的融合图像和文本的简洁语义自动摘要算法，并综合考虑检索时效、图像与文本语义相关性、用户满意度、结果呈现友好性等多种因素，提出主客观结合的图像及文本检索结果排序与推荐算法，最终跨越语义鸿沟，实现高效、准确、富含语义的图文统一检索。最终，课题提出了语义深度理解驱动的图像及文本统一检索综合研究方案，研发了3套原型系统用以验证和应用研究成果，包括“多源异构海量旅游信息聚合与智能图文检索服务平台”、“基于深度学习的粗细粒度融合图像检索系统CFFIRDL”和“基于多模态知识图谱的深度语义融合与实体检索原型系统”；在《Information Sciences》（CCF-B国际期刊）、《ICASSP 2021》（CCF-B国际会议）、《计算机学报》（CCF-A国内期刊）、《自动化学报》（CCF-A国内期刊）等期刊和会议发表学术论文30 篇，其中SCI检索16篇、EI检索14篇；出版英文专著1章；授权国家发明专利3项、申请国家发明专利10项；获得国家软件著作权6项。