基于多轴飞行器航拍数据的植物生长分析与建模

How to simplify the process of building Functional Structural Plant Model is a key issue of plat growth modeling. Although reconstructing Functional Structural Plant Model from analyzing videos of plant growth has been proved in practice to be a very effective means, how to capture and analyze such kind of videos in the wild are still open questions. To address these problems, this project plans to use multirotor to make videos periodically at fixed position for a plant as it grow. Then 4D cloud points can be reconstructed from a series of 3D cloud points, which are acquired by analyzing videos of a plant based on object recognition and structure from motion technologies. This project aims to design a framework which can labeling plant organs, extracting physiological parameters, detecting growth event and exporting growth rules from the 4D cloud points. Finally with these informations, the Functional Structural Plant Model of a plant can be built automatically using L-system, and the plant growth modeling can be realized.

如何简化植物功能结构模型的构建过程是植物生长建模的重要问题。通过分析植物生长的视频数据，进而重建植物功能结构模型，被证明是解决该问题的有效手段。但如何在自然环境下获取和分析描述植物生长的视频数据，仍然是尚未解决的问题。本项目围绕该问题开展研究，通过控制多轴飞行器实现对户外植物生长过程的定期、定点拍摄，获取植物生长的视频数据。基于这些数据，利用物体识别和运动到结构方法，重建植物形态的3D点云，形成描述植物生长过程的4D点云。经过对4D点云数据的分析，实现植物器官的标记、植物生理参数的提取、生长事件的识别、生长规则的导出，最终利用L系统自动化建立植物的功能结构模型，实现植物生长的建模。

本项目针对户外环境下植物的生长建模问题开展研究。项目计划使用多轴飞行器获取户外植物生长的视频数据，提取描述植物生长过程的4D点云，重建植物的功能结构模型。为了实现该研究目标，项目进行了如下3个方面的研究工作：..（1）研究了基于多轴飞行器的植物生长数据采集。使用大疆无人机，在高清摄像头、GPS和高度定位设备的辅助下，利用大疆公司提供的SDK编写了飞行控制程序，实现了户外植物生长数据的采集。..（2）研究了植物生长4D点云数据的提取和分析方法。采用运动到结构和多视图立体重建方法，从拍摄的视频中提取了描述植物生长过程的4D点云数据。..（3）研究了基于4D点云数据的植物功能结构模型的重建。经过对4D点云的降噪、修复等预处理，采用骨架线提取方法从点云中提取植物骨架，再利用骨架估计植物的形态和生理参数、构建植物的功能结构模型，实现植物生长的建模。..项目研究过程中取得的成果包括：针对植物拍摄，提出了一种基于无人机的植物识别系统和识别方法；针对无人机拍摄过程中的定位，提出了一种基于半直接法的单目视觉里程计定位方法及定位系统；利用关键帧选择算法、背景分割和深度图修补技术，改善了点云重建的质量；采用自然邻居概念对点云进行实例约简、聚类、降噪、构造自然邻居图等预处理操作，提升点云处理的效率；提出基于骨架线的植物重建方法。项目的研究成果不仅可以应用于植物生长模拟，还可以应用于计算机视觉、虚拟现实和增强现实领域。..项目共培养研究生6人，相关成果申请国家发明专利3项，发表标注项目资助的论文9篇，其中SCI论文5篇。项目完成了预期的研究任务。