小样本条件下的物体识别与分割问题研究

Deep learning has recently achieved great successes in object recognition and segmentation. However, the current deep learning model needs to be learned using a large number of labeled samples, cannot easily be extended to incorporate new categories because the deep learning model cannot quickly and effectively learn from few-shot data. Therefore, the problem of effective learning to few-shot data becomes an important research field. This field is at its starting stage and many important problems remain to be solved. This project aims to do comprehensive research on few-shot object recognition and segmentation. In particular, we plan to propose some effective few-shot learning models for one/zero-shot object recognition and one-shot object segmentation problems, including structured attention mechanism based one-shot object recognition methods, local attention and cycle generative adversarial network (GAN) based zero-shot object recognition methods, deformable object model based one-shot object segmentation methods. We will further investigate memory network based meta-learning methods and apply the meta-learning models to solve few-shot recognition and segmentation problems. Finally, the proposed methods will solve the effective learning problem of object recognition and segmentation model on few-shot data and will promote the development of few-shot recognition and segmentation.

深度学习近年来在物体识别与分割等领域取得了巨大突破。但现有的深度学习模型需要大量的标记样本进行训练，无法容易地将模型扩展到新的类别，原因在于不能有效且快速地对小样本数据进行学习。因此，在小样本学习条件下的有效学习问题成为了当前国内外的重要研究课题。该研究课题目前尚处于起步阶段，有许多重要的问题待解决。本项目围绕小样本条件下的物体识别与分割问题展开深入研究，重点对单样本/零样本物体识别以及单样本物体分割等问题提出有效的小样本学习模型。包括基于结构化注意力机制的单样本物体识别方法；基于局部聚焦和循环生成对抗网络的零样本物体识别方法；基于可形变物体模型的单样本物体分割方法；进一步研究基于记忆网络的优化元学习方法，并将元学习模型用于解决小样本识别和分割问题。项目的研究成果将解决物体识别与分割在小样本条件下的有效学习问题，促进小样本识别与分割模型的发展。

近年来以深度学习为代表的智能技术快速发展，在一系列传统任务上获得了性能的显著提升。然而同人类相比，人工智能在学习方式上仍有很大的不足和局限。对有限数据的快速学习是人类学习方式的重要标志之一。本项目对小样本包括零样本条件下的物体识别与视觉分析问题开展深入研究。本项目（1）提出了一种基于信息瓶颈的特征去冗余算法，可以有效消除不同类别的图像数据中与识别无关的冗余信息，从而增强最终用于物体识别的特征的相关性；（2）提出了一种对比嵌入的识别模型，利用自监督学习方法训练从视觉空间到语义空间的嵌入模型，对比学习方式为跨模态嵌入模型提供了更好的鲁棒性，减少了噪声信息的干扰，有效提高了嵌入模型的有效性；（3）针对特征生成框架中的欠约束问题，本项目提出通过增加特征到语义信息的反向生成来约束特征生成模型，从而能够减少无意义的特征合成；（4）提出了一种利用图像深度信息学习图像内部退化核的方法，并用于解决小样本的图像超分辨率等视觉分析任务；（5）提出了一种课程式的元学习方法，为该问题构造了由易到难的课程式学习子任务，帮助深度学习模型从小样本数据中有效地学习视觉特征；（6）提出了一种递归单图像生成对抗模型，可以仅通过一个递归式的生成器实现图像内容的多尺度生成；（7）在基于有限样本记忆的持续学习框架中，提出利用对抗学习的方式选择有代表性的已有类别有限样本用于训练新的模型，实现模型的持续学习；（8）将小样本图像超分辨率的思想应用于图像去摩尔纹等问题，提出了动态特征编码网络的去摩尔纹模型；（9）进一步利用摩尔纹生成的方法提出了一种单帧结构光的显微超分网络模型，实现了比传统结构光显微超分算法快14倍的效果；（10）提出了针对小样本数据的特征选择算法，分别利用未选择特征的对抗性和图扩散的选择方式提升了小样本数据的特征选择性能。上述成果为小样本条件下处理视觉任务提供了一系列的有效算法，促进了小样本学习模型的发展。