开放式环境下果实识别和定位方法研究

本项目旨在建立开放式环境下，能适应光照变化及能区分相近颜色背景的图像分割方法，重叠和被遮挡对象识别方法及目标定位方法。针对开放式环境下的图像分割问题提出通过研究新的色度空间，建立基于目标色度唯一表示方法的颜色相近区域图像分割方法。根据果实表面颜色分量随果实深度维形状有规律变化的现象，提出基于颜色分量相关性分析的颜色相似区域的图像分割方法。两类方法均对光照变化不敏感。研究基于形状特征组合立体匹配及深度校正模型的测距方法和融合深度信息进行重叠与被遮挡对象识别的方法。对重叠面积较大的区域，研究通过立体图像分割实现重叠区域识别的方法。立体图像分割是在二维图像分割的基础上，通过目标区域深度图的迭代阈值分割，实现重叠区域内前后区域的分割。本研究针对采摘信息获取中的主要技术难题，研究结果将有利于推动采摘机器人的研究进程，也有助于为室外场景的图像分割，目标定位，及被遮挡对象的识别奠定一定的理论和方法基础。

果蔬识别和定位的准确性与实时性直接影响果蔬采摘机器人的采摘成功率和采摘效率。开放环境中果蔬的识别和定位受非结构环境因素的影响很大，因此一直以来是采摘机器人研究领域的研究重点之一。本研究以番茄为研究对象，利用双目立体视觉技术，详细探讨了开放环境中番茄图像分割算法，被枝叶遮挡番茄识别算法，成簇番茄识别算法及番茄3D定位方法，部分解决了当前番茄采摘机器人视觉系统研究中存在的问题，所开发的番茄识别和定位算法将为提高番茄采摘机器人视觉系统对开放环境的适应能力奠定一定的理论和方法基础。主要研究内容及结论如下：（1）建立了融合番茄光斑识别及分段阈值的番茄图像分割算法。对184幅图像共计750个含光斑的番茄区域的试验表明：图像分割正确率为93.6%，明显优于基于归一化色差法的36.3%；平均执行时间为71 ms；该算法对对顺光条件下的番茄图像具有较好的整体分割性能，拓宽了图像分割算法对自然光照变化的适应范围。（2）对比研究了基于圆回归及圆Hough变换的被遮挡番茄识别方法。对220幅存在遮挡的番茄图像的试验结果表明：轻微遮挡时，两类方法的识别正确率分别为90.8%，89.1%，平均执行时间为87, 93 ms。存在较严重遮挡时，圆Hough变换法的整体识别性能优于圆回归法。（3）对比研究了基于数学形态学、圆回归、圆Hough变换及双目立体视觉的四类成簇番茄识别方法。经138对存在轻微遮挡的成簇番茄立体图像的试验结果显示：存在轻微遮挡时，四类方法的识别正确率分别为60.9%，69.0%，71.1%，82.5%；四类方法的平均执行时间分别为3、85、138、500 ms。双目立体视觉法整体识别性能要优于其余三类方法，特别是对重叠番茄。（4）提出了基于组合匹配及校正模型的番茄3D定位方法。1349对立体图像的试验表明： x, y, z坐标测量误差分别为：[1.3，13.8] mm，[-6.1，1.8] mm，[-10.7，1.6] mm，执行时间为[9.6，98.8] ms。该定位方法进一步提高了番茄的深度测量精度。（5）编制了番茄识别和定位软件，应用于番茄采摘机器人的视觉系统后，进行了实验室及温室的采摘试验。23次实验室采摘试验，识别成功18次，采摘成功11次；10次温室采摘试验，识别成功9次，采摘成功8次；采摘效率约为30 s/个。试验结果初步验证了番茄识别和定位算法的实用性。