资源受限的细粒度图像分类

Fine-Grained Imaged Categorization (FGIC) refers to finding knowledge and information (mainly class labels) from images that only contain minor and subtle differences among them, which has direct applications and pressing needs in society's economics, ecology protection, agriculture and public security. Characteristics of fine-grained and general images differ significantly, which include 1) absence of intuitive understanding of categorization results and missing of theoretical understandings for FGIC; 2) there are only very limited image and label resources for fine-grained cases, but methods that use few and uncertain labels for FGIC are missing; 3) absence of lightweight techniques and systems, which can operate in resource constrained environments (including computing and storage resources). To overcome these deficiencies, this project proposes the following research directions: 1) explicitly considering parts and reducing the part sizes to perform visualization of FGIC results, which will give reasonable explanations for the results, and aims at building a basic theory for FGIC; 2) propose new deep learning cost function, which is compatible with the mini-batch learning paradigm and can handle uncertainty in the labels; furthermore, be able to utilize the vast amount of unlabeled fine-grained images; 3) propose parameter compression methods for deep networks which does not depend on the parameters but focuses on fine-grained images, and achieve deep models with high compression ratio, small occupancy of CPU/GPU, and reasonable storage requests. The proposed techniques will be useful for real-world applications of fine-grained image categorization.

细粒度图像分类是指从仅仅包含细小与微妙差别的图像中提取有用的知识和信息（主要是图像的类别标签），在社会经济生活、生态保护、农业生产与安全保障等方面有直接的应用价值和迫切的需求。细粒度图像分类与通用图像分类的特性有显著差异，包括缺乏理论基础和直观的结果理解；细粒度图像数据及标记资源较少、但缺乏使用少量的不确定性标记进行分类的方法；缺乏轻量级（即计算、存储资源受限时可用）的技术和系统。针对这些缺陷，本项目提出显式考虑部件、并缩小部件尺寸进行可视化，为细粒度图像分类结果给出合理解释，在此基础上试图建立其理论基础；提出新的适合mini-batch学习、且能够处理不确定性的深度学习代价函数，有效利用大量的无标记数据进行细粒度图像分类；针对细粒度图像的特点提出不依赖于网络参数的压缩方法，得到压缩率高、CPU/GPU占用少、存储消耗合理的模型，为细粒度图像分类的应用奠定技术基础。

围绕资源受限环境中的细粒度图像分类问题这一目标，本项目针对直观的结果理解、使用少量的不确定性或错误标记和轻量级模型这三个方面的问题进行研究。具体来说，项目计划与执行的研究内容如下。第一，提出一种针对细粒度图像的可视化方法，该方法能够在细粒度图像分类问题中可视化学习得到的模型，并给出直观解释；我们得到的是一个阴性结果，即发现可视化与可解释性实际上对于细粒度图像分类的准确率关系不大，反而是整个物体都有重要性，并提出DDT方法来发现整个细粒度物体。第二，提出一种能够处理部分图像标记存在不确定性或者错误的细粒度图像分类方法；对此我们提出了PENCIL方法，能有效处理错误的细粒度图像标记，并能处理背景图像（即图像不属于任何目标细粒度图像类别）。第三，提出一种基于深度学习的半监督细粒度图像分类算法；对此我们提出了R2D2方法，有效处理无标记样本的不确定性。第四，提出一种针对细粒度图像进行模型压缩的学习方法，将压缩率提高到能够在移动设备（手机或平板电脑）上进行实时处理的程度；我们提出了直接在小规模细粒度数据上进行模型压缩的方法CURL。最后，基于以上技术进展实现一个细粒度图像分类的原型系统，能够在移动设备（手机或平板电脑）上进行展示；我们通过拓展上述方法，与华为技术有限公司合作，实现了原型系统，并在人脸识别领域进行了应用。.基于本项目支持，在国内外重要期刊及会议上（如IEEE T-PAMI、CVPR、ICCV、AAAI、IJCAI等及我国科技刊物《中国科学：信息科学》等）发表论文16篇，其中包括中国计算机学会推荐的CCF-A类期刊与A类会议10篇。申请中国发明专利1项。项目负责人在项目执行期间应邀担任CVPR、AAAI、IJCAI等本领域CCF-A会议的领域主席或资深领域主席，担任重要国际期刊IEEE T-PAMI及Pattern Recognition的编委。