基于图像的植物种类识别与植物三维建模

The research of image-based plant recognition and modeling have important significance for improving plant classification efficiency, popularizing botanic knowledge, recognizing and protecting plant resources. In this project, the main contents include plant image segmentation based on similarity, leaf classification and winter tree recognition based on phytotaxonomy, parameter measurement based on vision technology, and organ reconstruction and group of plants modeling based on growth path optimization. Key problems are as follow: leaf and plant image segmentation with complex background and tiny structure, feature extraction for leaf and winter tree, the feasibility of using stereo vision for plant parameter measurement, and the modeling of group of plants based on botany theory. The innovativeness exist in combing sketch guidance and prior shape restrict for optimized segmentation, leaf feature extraction based on phytotaxonomy, winter tree recognition based on whole branch structure, and group of plants modeling through reconstructing parts and simulating the whole structure.

本项目研究基于图像的植物种类识别与植物三维建模，对于提高植物分类效率、普及植物学知识、认识和保护植物资源具有重要意义。主要研究内容包括：基于相似性的植物图像分割、基于植物分类学的叶片分类和冬树识别、基于视觉方法的植物参数提取，以及植物器官重建和基于生长路径优化的群体植株建模。关键科学问题为：前景与背景颜色相似、细小结构多、空洞多的叶片或植株图像分割、叶片有效特征提取以及冬树特征提取、立体视觉用于计算植物参数的可行性、符合植物学机理的群体植株建模。项目的创新性在于笔画引导与形态先验约束相结合的优化分割、基于植物分类学的叶片特征提取、基于树木树枝整体形态特征的冬树识别，以及基于局部重建和整体形态模拟的植物群体建模。

本项目的研究内容包括：图像处理方面的图像分割、图像滤波、图像分析、植物识别。三维分析和建模方面的：点云分类、植物整体建模、器官建模，以及应用技术。图像处理方面的主要研究成果：提出了一种基于内容语义的图像数据集多样性的衡量方法，定义图像集的多样性由变化性、平衡性以及差异性三个方面共同组成，可有效地对给定图像集的多样性进行量化评估，用于植物图像识别前的评估和分类；提出了基于深度多任务学习的图像分割方法，用一种联合多任务学习算法，使用深度卷积神经网络对图像进行对齐和分割，能提高每项任务性能；提出了基于带权变量映射的双边滤波加速方法，释放使用固定基函数的约束，并利用输入图像的颜色分布信息来执行范围内核的加权近似，可以获得更精确的滤波结果。三维分析和建模方面的主要研究成果：基于点云特征量构造条件随机场模型来进行点云数据分类，提出的基于最大化精度和最大化类间加权准确率的模型参数学习准则对于点云分类结果的质量有较好的提升；提出了参数优化标准引导的3D点云分类方法，通过构造判别模型和有效参数优化，可以应用于场景的三维点云的分类，当不同类的数量差异较大时，可以用来提高小规模点集的分类精度；提出了一种基于过程的、生物机理驱动的叶子建模和可视化方法，叶子的形状是由叶子轮廓上的一组特征点决定的，轮廓是利用曲率尺度空间角点检测算法从图像中提取的，该模型能够对简单形状的叶子，以及复杂形状的叶子进行建模；提出了一种基于BP神经网络的快速植物建模方法，可用于构建多种多样的、具有真实感的、与输入草图信息相符合的植物模型，并且不需要图像配准和参数调节。