基于主动成像的苹果采摘机器人果实识别与定位方法研究

采摘机器人的视觉系统多采用被动成像方式，受环境的影响较大，基于主动成像方式的视觉系统可以避免上述缺点。多种因素影响主动成像视觉系统的目标识别及定位效果，这些因素的作用机理尚无系统研究。本项目以大田苹果树为研究对象，研究基于主动成像方式的苹果采摘机器人果实识别与定位方法。主要研究内容包括：三维视觉传感器模型、果实识别模型及毗邻果实分离方法、果实定位算法及误差修正模型。通过对苹果树各部分光谱特性的解析，确定敏感波长；以朗伯余弦定理为基础将被测物表面简化为朗伯表面，建立包含被测物本身特性参数的三维视觉传感器模型；根据三维视觉传感器输出的三维图像，结合果实几何属性特征，建立果实识别模型；根据果实镜面反射特征曲线、距离信息等实现毗邻果实的分离；分析三维视觉传感器特征参数与定位精度之间的内在联系，建立误差修正模型，实现高精度定位。项目成果对研究其它球形果实采摘机器人也具有一定的指导意义。

采摘机器人的视觉系统多采用被动成像方式，受环境的影响较大，基于主动成像方式的视觉系统可以避免上述缺点。本项目以大田苹果树为研究对象，采用激光视觉系统和多源视觉系统分别对苹果采摘机器人果实识别与定位方法进行了深入的研究，主要研究内容包括：采摘机器人激光视觉系统的设计与开发、基于激光扫描深度图像的果实识别与定位方法、用于采摘机器人果实识别的多源图像配准研究、融合多源图像信息的果实识别方法。取得的成果有：（1）以LMS211激光扫描仪为数据采集的核心，基于飞行时间原理实现对目标距离的测量，扫描数据能较理想地反映果实的曲面特性，生成的深度图像易于解析果实、枝叶的空间几何特性及相互间的层次关系，且效果不受光线变化的影响；（2）通过计算链码和与链码差提取苹果的轮廓像素点，利用随机圆检测法获得果实的形状特征完成对苹果的识别，此算法具有较好的实时性，当枝叶遮挡面积小于40%时，果实的正确识别率高于93.75%；（3）使用基于PMD技术的ToF摄像机与彩色摄像机组合捕获果园环境的多源图像，SURF算法实现多源图像配准；（4）利用模糊逻辑理论进行像素级的图像融合，并利用深度图像的统计特性，设计了一种逐层分割图像的方法，解决重叠果实的分离问题。项目成果对研究其它球形果实采摘机器人也具有一定的指导意义。