零样本学习中的语义属性表示及特征合成方法研究

With the development of information technology and the emergence of new fields, more and more new categories of data are emerging. Traditional methods based on the training of all kinds of samples cannot fulfill the current development. Therefore, Zero-Shot Learning (ZSL) is proposed to solve the problem of classification of unseen classes. This research mainly focuses on feature synthesis, semantic attribute representation and its application in image classification and retrieval in ZSL. The purpose of this research is to solve the problem of cost of attribute annotation in conventional ZSL, domain shift of unseen classes, class-level over-fitting and shortage of training samples. The main research contents include: 1) A binary common attribute is proposed and an annotation system is designed to solve the traditional annotation problem which requires a lot of labor and expert knowledge; 2) An orthogonal projection method is proposed and applied in the dual verification network to solve the problem of domain offset and semantic confusion. This method is also extended to binary space to solve the zero-shot hashing problem. 3) The traditional minimization constraint of projection error suffers from single outlier, we will use orthogonal projection combined with dual regression to solve the problem of class-level over-fitting; 4) Different from the traditional feature-to-attribute mapping, we build unseen samples by conditional Generative Adversary Network from unseen classes of attributes.

随着信息技术的发展和新领域的不断涌现，人们获取的数据有更多的新类别，传统的基于全类别样本训练的方法已经不能满足当前发展的需求。因此，零样本学习的方法被提出来解决未见类别的样本分类问题。本课题主要研究零样本学习中的特征合成、语义化属性表示问题以及其在图像分类、检索中的应用，旨在通过此项研究解决目前零样本学习中属性标注的成本问题、不可见样本的域偏移问题、类别化过度拟合问题以及训练样本缺失问题等。主要研究内容包括：1）提出一种二值化共性属性，并设计一套标注系统以解决传统的需要大量专家知识的标注问题；2）设计出一种正交投影方法，将其应用到对偶验证网络中，解决域偏移以及语义混淆问题，并将其扩展到零样本哈希问题；3）针对传统最小化约束会受野值的影响，我们将利用正交投影结合对偶回归来解决类别化过度拟合问题；4）有别于传统的特征到属性的映射，我们通过条件对抗网络从不可见类别的属性来构建不可见类别的样本。

随着人们获取的数据有更多的新类别，基于全类别的训练已经不能满足当前的发展需求。因此，零样本学习被提出来解决未见类别的图像识别问题。仿照人类的学习方式，通过从其他已知类别的图像及相关的语义上进行知识学习，并迁移到未知类别上进行图像识别。零样本学习因为其在图像领域有着深远的研究意义和广阔的应用前景，近些年来受到越来越多的关注。本课题主要研究零样本学习中的特征表示与合成问题以及属性表示与校正问题。此外，考虑到零样本学习的巨大潜力，我们将其在道路场景的环境理解中，包括语义分割以及目标检测，进行了应用研究。.主要研究内容包括：1）可分类原型研究。考虑到部分类别原型在视觉空间或者语义空间不可分的问题，我们在隐空间引入了正交约束，可以更好的拉大近似类别之间的距离，使得图像能够更好的区分开来；2）属性表示问题。考虑到人工标注的属性同样会导致部分类别过于相似，我们引入一些正则化项来微调属性表示，可以更好的提升类别之间的区分度，同时不影响原有类别的意义；3）转导式零样本学习问题。将未标注的不可见类别的视觉信息引入到模型训练中，通过增加通用的正则化项或设计转导式分类网络，来解决域偏移问题并提升图像分类的效果；4）生成样本的多样化问题。考虑到传统的生成性零样本学习方法仅仅使用高斯分布和WGAN来合成伪样本，导致生成样本分布过于单一且容易聚集，本项目通过属性增广，真实化噪声合成，以及引入Cramer GAN等多种方法来实现多样化的特征生成，使得生成的样本更加符合真实分布；5）零样本学习在道路场景理解中的应用。我们将研究的嵌入式方法及特征合成方法应用到道路场景的图像分割和目标检测中，实现了一个基于语义嵌入的零样本道路场景分割网络以及一个基于课程学习的零样本道路目标检测网络，并在一些道路场景数据集上取得了非常不错的效果。.通过本项目的研究，我们在高水平的学术期刊和会议上发表了25篇论文，申请了2项专利，并培养了5名硕士研究生，其中1名获得了江苏省优秀硕士学位论文。