基于深度学习的手绘草图图像检索方法研究

In traditional image retrieval, keyword-based methods require a huge amount of valid image tags, while content-based methods require an input that almost matches user’s intention. Both of these requirements are not easily met and will cause retrieval results unfavorable. With handheld touchscreen devices become more and more common for users, hand-drawn sketches show their potential value as retrieval inputs. This project aims to tackle the issue on sketch-based image retrieval. The main research topics and steps include: (1) A transformation mechanism for the visual difference of natural image and its relative sketch, so that a sketch-like form image could be generated automatically from a natural image. (2) A deep, highly discriminative feature representation that suits for both sketch and natural images, guided by deep learning methods. (3) A hierarchical (from local to global) similarity evaluation structure that could result in an accurate association matching scheme. And (4) An output evaluation and re-ranking method that could enhance the retrieval results. Through this project, we aim to reveal the deep relationship between sketch and natural images to some extent, in order to help a better understanding of how visual abstraction is made in human brain from a computer science angle. We will also develop a prototype system for sketch-based image retrieval.

在传统的图像检索领域，基于关键词的检索需要大量有效的图像标签，而基于内容的检索则需要用户已有相似的图像样例，这些都不利于检索应用的有效进行。随着手持触屏设备的普及，手绘草图作为图像检索的输入变得越来越有实用价值。本项目研究通过手绘草图检索海量自然图像的方法，主要内容包括（1）研究自然图像与草图之间视觉差异的转换方法，从而形成针对图像的类草图自动生成机制；（2）采用深度学习的机制，研究针对手绘草图与自然图像类草图同时适用的融合多模态属性信息源的深度高可区分特征表示；（3）研究涵盖局部到全局的层次化相似性评估架构，从而形成精准的深度关联匹配度量机制；以及（4）研究检索结果的评价模式，以形成有效的相关图像判别与优选机制。通过本项目的研究，预期将在一定程度上揭示手绘图案与自然图像之间的深层次关联，从而从计算机科学的角度为理解人脑的视觉抽象机制提供一定的理论依据，并研发完成一个实用的检索系统原型。

随着多媒体信息技术的高速发展和智能移动设备的迅速普及，线上线下的图像数据正以爆发式的速度增长，如何高效、准确地从海量规模的图像数据中检索出用户所需的图像成为了一个亟需解决的课题。现今最主要的图像检索方法是通过文本关键词来检索图像，然而这种图像检索方法却存在着许多缺陷：图像需要被预先准确标注文本信息，而给海量规模的图像标注准确的语义信息是一项非常耗时的任务；复杂的查询意图很难用简单的文本关键词来准确表述。尽管一些搜索引擎开始提供以图搜图的功能，但这种图像检索方式只适用于已经拥有可检索图像的用户，在绝多大数图像检索场景下并不适用。.本项目研究手绘草图检索，允许用户自己绘制想要检索物体的草图，并利用绘制的草图从图像数据库中检索出与之相似的图像。项目的核心研究内容包括：面向自然图像的类草图自动生成机制、适用于手绘草图图像检索的深度学习理论与工作机制、面向手绘草图图像检索的手绘草图-自然图像的新型深度匹配及其优化机制等。研究团队提出了一种新颖的基于多模态注意力机制的分层模型、一种具有深度跨模态关联学习的新型方案，和一种深度多模态嵌入模型来得到合理多样的草图和实拍图像特征，采用深度视觉语义描述器和相关的优化机制来增强基于草图的图像检索，取得了良好的效果。.本项目在研期间总计发表论文6篇，其中CCF-A类会议和期刊4篇，CCF-B类会议和期刊2篇，授权发明专利2项，申请发明专利3项，培养博士生1人，硕士生5人。项目负责人于2017年晋升教授。