面向集合表示的植物图像分割与分类方法研究

Research on segmentation and classification methods for plant image set is a newly established research field, and plays an important role in digital research of plant species and digital agriculture. On the basis of the characteristics of plant image and the potential demand of the users, this project will emphatically carry out research on salient object segmentation and data modeling from the relations among the image sets. First, a professional plant species image database will be established, which can provide data support for the research on digital plant species, and also provide a unified standard and evaluation platform for the related methods of computer-aided plant species identification technology. Then, for the large scale plant image set, grouped by a structured re-sampling, and making full use of the prior information of contour saliency of plant object, by means of clustering and labeling of the image patches, a new salient object detection and segmentation model will be put forward, which will be cooperative within groups and ensemble of groups. Next, based on the dense and nonlinear characteristics of image set data, from the perspective of data relationship, a hybrid metric learning framework will be proposed by using the complementarities of multiple order statistics to effectively fuse multiple statistical models. On the other hand, based on the redundancy and self-similarity characteristics of image set data, from the perspective of data representation, a jointly sparse representation model will be established by making use of the integrity of the test image set data and the grouping structural of the training image set data. Finally, take full account of the internal geometry structure information of set data, a hybrid Euclidean-and-Riemannian jointly sparse representation model will be designed for more robust recognition. The above theories and methods will promote the development of segmentation and classification technology for image set, and further bring more applications in the agriculture field.

面向集合表示的植物图像分割与分类技术是植物物种数字化研究与智慧农业领域中新兴研究方向之一。根据植物图像特点与用户潜在需求，本项目将从集合整体性和关联性开展图像分割与数据建模研究。首先，建立植物图像专业数据库，为植物物种机器识别相关方法提供统一的评价平台与标准；然后，针对大尺度植物图像集合，通过结构化重采样分组，结合目标轮廓显著的先验信息，设计一种基于分片聚类与标注的、组内协同组间集成的显著性目标检测与分割方法；接下来，一方面根据图像集合的稠密性，利用多阶统计量的互补性设计一种混合度量学习框架来有效融合多种统计模型；另一方面根据图像集本身的冗余性，通过测试图像集的整体性以及训练图像集的分组结构性来建立一种联合稀疏表示模型；最后，考虑数据集内部的几何结构信息，建立欧式与黎曼双空间混合联合稀疏模型。预期上述理论和方法有助于集合层面的图像分割与分类技术的发展，同时也能够促进信息技术在农业中的应用。

本项目基本按照研究计划顺利进行，提出了面向植物图像集合的识别与分类技术。工作主要包括以下四个方面：植物图像数据库建设；植物图像分割方法；植物图像集合分类方法；植物图像细粒度分类方法。.提出了一种基于块聚类多测度的协同显著性检测方法，该方法充分考虑图像集合中图像的关联性，并将这种关联性加入到抑制不相关对象的计算中，通过对图像组进行分块和聚类，计算不同的测度，得到单图像显著性图和协同显著性图像，采用加性融合得到最后的分割结果。进一步提出了一种基于块标注、轮廓先验信息的图像分割算法，该算法先将图像集合分为若干图像组，将图像组分块并计算图像块之间的特征差来进行分类，在树形分类器构建完成之后计算轮廓并将图像标注为内部区域和外部区域，计算图像的显著性值，最后通过加性融合得到最终的分割结果。.提出一种基于非线性重构模型的植物叶片图像集的分类识别方法。该方法使用高斯受限玻尔兹曼机（GRBMs）通过非监督预训练来初始化模型的权值，然后为每一个植物叶片图像集用初始化的模型训练得到一个特定的模型。最后根据测试样本的最小重构误差和测试样本集的最多投票策略来判定测试样本集的类别。并采用基于k-means的特征提取方法来提取植物叶片图像特征。进一步提出了一种浅层PCANet(SPCANet)模型的植物图像集的分类识别方法。该方法首先用SPCANet模型来提取植物图像的特征，然后用线性SVM分类，最后根据投票策略判定测试集的类别。.提出了一种基于注意力的细粒度图像识别方法，该方法引入注意力模块筛除背景信息，生成特征掩码映射出目标对象的关键区域。进一步提出了一种循环特征融合训练与显著性检测的细粒度图像识别方法，该算法更加注重关键目标区域提取的准确率以及特征表达能力的提升。在前向传播中，将高层的输出特征循环输入多个低层结构中进行特征融合训练，有利于实现精细化的特征分类，从而提高细粒度图像的识别准确率。