基于快速视觉伺服控制的多照度环境苹果高效机器采摘方法研究

China is the biggest apple production country, while the progress in harvest mechanization is slow because of low picking efficiency. To improve athletic performance of harvesting robot and extend the operating time, this research proposal will focus on the following. Firstly, by threshold segmentation and rapid matching methods, we will obtain the rapid image processing of apples and obstacles under static and dynamic conditions, which will rapidly provide the feedback information for robotic visual servoing systems. Secondly, deploying the artificial light sources scientifically, which can improve natural lighting conditions. Then, conducting noise reduction pre-processing on night vision image to obtain good environmental awareness at night of robots. Thirdly, adopting pneumatic servo element improves the rapid response ability, and applying non-smooth control technique to solve rapid and accurate control problems of servo system. Fourthly,achieve the autonomous obstacle avoidance for manipulators according to the environmental information obtained by multi vision system and other sensors; by taking the obstacles as the boundary, the picking task is carried out separately, and by combining Hamilton graphic method with improved particle swarm algorithm, route planning problem of apple harvesting is solved. Finally, it is verified by making prototyping. This research proposal aims to achieve a breakthrough progress towards the rapid harvesting theory and technology for apple harvest robot, obtain a continuous harvest speed arriving 5-8 seconds per apple, which is the present international advanced level and get the ability to work under multi-illumination environment.

我国是世界上最大的苹果生产国，但其收获作业机械化进展缓慢，采摘效率低下是主要制约因素。本项目拟从提高采摘机器人的运动性能和延长作业时间二方面着手，重点研究以下内容：1.通过多目系统采用阈值分割、快速匹配等方法对静态和动态果实及障碍物图像进行快速处理，为机器人视觉伺服系统快速提供反馈信息；2.通过科学配置人工光源改善自然光照条件，对夜视图像进行降噪预处理，使机器人获得良好的夜间环境感知能力；3.通过采用气动伺服元件提高快速响应性能，应用非光滑控制技术解决伺服系统的快速精确控制问题；4.根据多目视觉系统和其他传感器获取的环境信息，实现机械臂的自主避障；以障碍物为界分片采摘，应用哈密尔顿图形法结合改进粒子群算法解决苹果采摘路径规划问题。通过样机进行采摘实验验证。争取在苹果快速机器采摘理论与技术研究方面取得突破性进展，使机器人的连续采摘速度达到5-8秒/个的先进水平,并具备多照度环境下作业的能力。

我国是世界上最大的苹果生产国，但其收获作业机械化进展缓慢，采摘效率低下是主要制约因素。本项目从提高采摘机器人的运动性能和延长作业时间二方面着手，重点研究以下内容：1. 研究了不同光照环境下果实和障碍物的识别定位问题，以及动态情况下果实和障碍物的快速匹配和跟踪问题，为机械臂的伺服控制和路径规划提供了信息基础；2. 研究了夜间人工光源的选择和配置优化问题，并对夜间图像的降噪和增强算法进行了深入研究，实现了果实的夜间采摘延长了采摘机器人的工作时间；3. 根据果实和障碍物的定位信息，采用二阶滑模控制算法实现了机械臂中电动和气动单元的快速伺服控制，提高了机械臂的运动性能；4. 根据果实和障碍物的三维信息，建立了障碍物空间地图并对障碍物进行分级，从而实现了采摘路径的优化，减少了机械臂的转折和碰撞次数。. 设计制造了一台5自由度的苹果采摘机器人样机，该样机混合使用了电动和气动两种驱动方式，腰部、大臂、小臂等旋转关节采用电力驱动；小臂的直动关节和末端执行器的夹持机构采用气力驱动，提高了机械臂的驱动效率。机器人行走机构两侧搭载了人工光源为机器人夜间采摘作业提供照明。机器人末端执行器中心安装有微型摄像头进行实时图像采集，以深度卷积神经网络YOLO V3模型为主综合图像增强、特征点匹配等机器视觉算法实现了果实和障碍物的识别、定位和跟踪。样机在白天和夜间进行了多次模拟采摘测试，实验结果表明该采摘机器人能够在白天和夜间多种光照环境下稳定工作，平均每个苹果的识别定位时间为44 ms，采摘时间为7.81 s，采摘率为81.25%。本项目设计制造的苹果采摘机器人在采摘速度和多光照环境下的作业能力都达到了国际先进水平，极大地提高了采摘作业效率，为采摘机器人的实用化和商业化推广提供了理论支持和技术保障。通过此项目研究工作共培养了3位博士、6位硕士；发表期刊论文26篇，其中SCI收录16篇，EI收录6篇；发表2篇SCI收录的会议论文；申请发明专利5项，已获授权3项。