基于嵌入式FPGA的农业自动车辆智能4D视觉导航模型研究

In this project, a new navigation scheme for agricultural autonomous vehicle is to be proposed by fully designing FPGA architecture and processing 3D video data, and the aim is to solve the bottleneck problems encountered in practical field operations. It consists of six core stages as follows: 1) Considering the effects of strong light, weak light and light reflection on leaf of crop plant, and shadow as well, we plan to introduce the random field theory to construct a general model by utilizing statistic methods and machine learning in order to segment crop plant from its soil backgrounds; 2) To produce an accurate, high density 4D depth map structure, region matching method is to be used to match every pixel in the segmented region. At the same time, an optimal filling method is to be designed to decrease matching errors and increase depth map density; 3) Furthermore, video depth map is to be normalized to find the start and end of a row in order to obtain corresponding turning information; 4) Guidance base line equation set are to be constructed by utilizing 2D structural information of crop rows and video depth information of rows; 5) And, based on guidance base lines and status information of agricultural vehicle, guidance parameter status equation set are to be constructed by fusing boundary information，inter-row and row spacing of row. Moreover, the matrix perturbation theory is to be employed to integrate guidance error factors to decrease walking errors of agricultural vehicle; 6) To optimize the FPGA design based on the relevant existing achievements, is to implement efficiently data transmission and process video image in order to provide stable, accurate and reliable 4D vision guidance parameters for autonomous agricultural vehicle operations.

本申请项目以解决目前农业车辆双目视觉导航系统的瓶颈问题为宗旨，采用FPGA流水线并行处理方式，针对视觉导航算法中存在的问题提出方案包括：1）为解决田间环境下强光、弱光、反光及阴影带来的影响，引入随机场理论，以统计分析和机器学习为手段进行统一光照模型构建，以实现对田间作物有效分割。2）以视频图像为处理对象，采用区域逐点匹配方式，研究视差估计及误匹配填充方法以产生高密度、准确的4D深度图结构。3）探索视频深度及边缘信息中田头、田尾及田中的归一化模型，以提取相应的导航转向信息。4）基于2D垄行结构及视频深度信息构建导航基准线方程。5）基于导航基准线，融合作物边缘及垄/行宽信息，结合坐标映射关系及车辆状态信息构造导航参数状态方程组，并进一步引入矩阵摄动误差分析，以实现导航误差有效控制。6）优化FPGA结构设计，实现高速视频图像传输和处理，为农业自动车辆控制系统提供稳定、准确、可靠4D视觉导航参数。

目前，基于视频图像处理的农业机器人视觉导航算法系统实时性、鲁棒性与适用性研究仍然是该领域研究的热点内容。在本项目执行期间，我们采取点面结合方式，其中，“面”的方面有：1）首次将视觉导航系统作为边缘计算子模块，融合到农业物联网系统架构中，设计了农业物联网视觉导航系统模块架构，为实现大数据、物联网与云计算模式下农业机器人视觉导航方式提供了有价值的理论与实践参考；2）在视频图像处理导航实现方式方面，首次探索了基于嵌入式FPGA架构的流水线与并行加速处理的实现方法，使本组研究的导航算法系统实时性提高了约50%以上。“点”的方面有： 1）分析了自然光照条件下，光照异常图像的统计学参量变化规律，将纹理特征输入到Elman具有记忆功能的神经网络中，或改进超像素块算法，将其融合到决策树方法中，实验结果表明对于异常图像的分割具有较好效果，其分割评价指标值与正常图像分割指标值相差无几；2）分析了影响双目视觉系统误差的两个主要因素基线长度B，镜头到目标的距离L，通过拟合方法减少误差约2%；3）探索了视频图像“行人识别”的特征池构建方法，在尽可能小的特征池条件下使分类器具有较高的分类能力；4）设计了农业物联网模块USB统一接口通讯形式、数据传输协议，以及通过图像处理提取出作物玉米枝干生长参数（高度、倾角、节数），建立了其与果实鲜重的关系方程。总之，整个项目执行期内，团队成员为农业物联网机器人视觉导航系统瓶颈的突破及理论的完善进行了探索性和开创性的工作。