基于图像集合和深度学习的物体分类关键技术研究

Object classification/recognition has been a fundamental and important issue in computer vision. Classification is the base for high level vision task, such as object segment, tracking, action analysis, etc. Currently, it faces many challenges including variations of scale, illumination, viewpoints and occlusion. Those images in set could achieve the information complementation, which will contribute to improve the performance of classification. Image set based classification, however, still needs to solve three significant problems: (1) Different image sets are of imbalance; (2) Accuracy of classification is sensitive to outliers, and image sets usually are pretty high redundancy. (3) So far, we lack of effective scheme on extracting discriminative features. For the sake of those problems, we propose object classification based on image set and deep learning. We focus on mainly three aspects: (a) Construct the over-complete features representation based on second order tensor; (b) Utilize mutual representation among images to detect outliers and find representative images to compress data in image set; (c) Study the strategies about extracting the discriminative and abstract features for object classification.

图像物体分类、识别一直以来是计算机视觉研究中的重要问题，是图像分割、物体跟踪、行为分析等其它高层视觉任务的基础。然而，物体分类仍面临许多的挑战，主要包括尺度、光照和视角变化，遮挡等。采用基于集合的物体分类方法，通过集合内信息互补，上述问题有望得到解决。目前，图像集合分类中主要面临三个迫切需要解决的问题：(1) 分类集合的不平衡性问题；(2) 集合信息冗余度高，分类易受离群点干扰；(3) 缺乏集合层次的判别特征提取方法，分类效果不理想。针对上述问题，我们提出基于图像集合与深度学习的物体分类方法，研究的重点内容包括：(a) 研究二阶张量下的过完备特征表示建模，解决集合不平衡性问题； (b) 研究集合图像的语义互表示建模集，去除离群点，实现集合的紧致表示； (c) 研究集合层次判别特征的提取与分类建模，提高物体分类精度。本项目的研究成果将为物体识别技术的应用提供理论支持与技术保障。

图像中物体的分类、识别是计算机视觉研究中的重要问题，是图像分割、目标检测、跟踪与行为分析等其它高层视觉任务的基础。然而，物体分类仍面临许多的挑战，主要包括尺度、光照和视角变化，遮挡以及数据的长尾分布等。我们采用基于集合的物体分类方法，通过集合内信息互补，结合深度学习方法研究了图像中物体的分类。针对视频人脸识别，我们采用稀疏表示选择最具代表性的人脸形成人脸库图像集合，用将视频中抓拍的多张人脸形成图像集合，比较集合之间的相似性，实现视频人脸识别。实验结果表明我们的算法比同类算法分类精度更高，鲁棒性更强。针对人脸分类、识别中与目标域分布相同的训练数据不足的问题，课题组提出了域自适应的泛化学习框架。构造多个子空间，将与待识别人脸类别不同的人脸数据集作为训练集，识别测试集中人脸图像，提升了识别精度。我们提出了库敏感的单样本人脸识别方法，可有效利用不同域训练数据的标签信息，充分利用源域信息的迁移，实现人脸的分类、识别。. 针对高级视觉任务如运动目标分类、检测，课题组并设计了一种用于复杂场景中运动目标分类与检测的深度帧差卷积神经网络，实验表明在复杂背景下，该方法具有很强的鲁棒性，对小目标也具有较好的检测分类效果。. 在高光谱图像分类问题上，我们提出加权K均值近邻与多任务学习稀疏表示相结合的方法，该方法充分利用图像像元在空间上的相关性，结合多任务学习稀疏表示，可缓解训练样本不足导致的欠拟合问题，实现目标物的检测。由于在监督学习中，标签噪声普遍存在，我们提出了基于核熵成分分析的监督学习方法，可去除标签噪声，实现鲁棒分类。针对噪声标签检测，我们提出了分层能量最小限制机制，可有效探测、去除标签噪声样本，提高分类精度。. 在本项目的支持下，课题组在可见光图像和高光谱图像分类领域均取得一些重要成果，图像分类为我们与此相关的应用奠定了基础，如视频监控下目标检测与跟踪，高光谱图像分类、噪声标签检测、异常检测等。