深度视觉零样本学习关键技术研究

Visual zero-shot learning (VZSL) is an image/video understanding and classification technique, which has three particular properties simultaneously: has the inferential capability to recognize instances of a new category that has never seen before, cross-modal, and cross-domain. It aims at predicting the labels of the testing classes by exploiting the training data of other classes together with common sense or priori knowledge. However, the current research mainly focus on the shallow learning model of “usage of deep features directly + conventional machine learning methods”, which is influenced greatly by the weak generalization capacity and domain shift problems, resulting poor VZSL performance. To solve this serious situation, this research project proposes a “Deep Visual Zero-Shot Learning” framework and a series of corresponding algorithms to improve the performance by employing the effective representation and learning mechanism of deep learning technique. Specifically, the research first puts emphasis on the end-to-end cross-modal embedding in VZSL by strengthening the use of local information; and then proposes a novel deep domain adaptation strategy in VZSL from direct and indirect ways to alleviate the domain shift problem; further, as an extended research, studies the deep open VZSL in the wild; finally, the advanced nature and the practical value of the framework and methods will be verified on the applications of image/video classification, multimedia annotation and retrieval, video summarization, and so on. The implementation of this research project will enrich and develop the basic theories of both zero-shot learning and deep learning, as well as promoting the development of related industries.

视觉零样本学习是一类测试数据类别与训练数据类别完全不同、既跨模态又跨领域的图像/视频理解和分类技术，目的是利用训练数据结合常识或先验来判断测试数据的类别。目前研究多为“直接利用深度特征+传统机器学习方法”的浅层学习模式，受跨模态映射的泛化能力弱和领域偏移的影响较大，导致算法性能严重受限。为了解决这一严重问题，本项目提出“深度视觉零样本学习”框架和方法，利用深度学习技术有效的表达和学习机制提升算法性能。具体地，针对视觉零样本学习技术，首先重点研究基于端对端的跨模态映射模型，通过加强局部信息的利用提升其泛化能力；接着提出深度领域适应学习策略，分别通过直接和间接两个层面缓解领域偏移问题；然后作为拓展研究，探索开放环境下的深度开集零样本学习技术；最后研究上述理论和方法在分类、标注、检索、摘要等领域中的具体应用。本项目的实施将丰富和完善零样本学习和深度学习等技术的基础理论和方法，推动相关产业的发展。

零样本学习是机器学习走向实际应用需要解决的共性问题之一，其核心思想是利用已有学习模型并辅以常识或先验知识进而进行演绎推断。本项目针对之前研究多集中于“直接利用深度特征+传统机器学习方法”的研究模式，受跨模态映射的泛化能力弱和领域偏移的影响较大的问题，研究了基于端对端的跨模态映射模型，从局部信息增强、领域适应学习以及广义零样本学习等几个方面提高了视觉数据零样本学习的性能，并延伸了其研究范畴和应用范围。.项目在11个方面取得了较好的进展，在基准测试数据集上达到了当时领先的性能水平。例如，提出了一系列基于局部增强思想的零样本跨模态深度映射方法。其中所提基于语义引导的特征表征方法证明了所提局部增强方法能得到更具有表达能力和判别能力的特征，在CUB上的识别率可达76.8%。该成果发表在NeurIPS 2018，谷歌学术引用已达80次，被NeurIPS 、CVPR、 ECCV等主流会议论文借鉴和引用，成为零样本方向的代表方法之一。提出一种多标签零样本学习框架，并依此提出一系列相关方法。提出一种属性信息引导的零样本跨模态哈希方法，在跨模态和单模态设置下都显著超越了当时的方法，谷歌学术引用53次。基于直推学习、半监督学习框架，提出一系列域适应学习方法，有效缓解了源域和目标域中的类别不同而导致数据分布存在差异，例如所提直推判别字典学习方法可利用已预测的未见类别样本重新优化模型，从而提高模型对未见类别样本的分类能力，在AwA数据集上准确率可达93.3%。进一步，基于编码学习、不平衡学习、对抗学习、度量学习等框架，提出了一系列广义零样本学习方法。例如提出的多模态隐编码模型证明了不同模态之间的特征可以通过公共隐空间进行有效地关联。此外，还依据所提跨模态思想，探索了少样本图像识别、跨模态图文检索、跨模态行人检索等方向，并提出了一系列方法。项目共发表论文24篇，授权发明专利5项，培养研究生10名。.本项目的实施将丰富和完善零样本学习和深度学习等技术的基础理论和方法，推动相关产业的发展。