面向自主抓取任务的移动机器人视觉感知方法研究

Mobile robot is a cross disciplinary research achievement of sensor technology, information processing, automatic control and artificial intelligence. It is one of the most active areas of science and technology development at present. Mobile robot has greater mobility and flexibility than the general robot in performing dangerous and harsh tasks. Hence, mobile robot has wide application prospects in industry, agriculture, warehousing, medical care, service and other industries, and especially has application values in search, rescue, anti-terrorism, space exploration and other harmful or dangerous situations. Specifically, it is an important task for mobile robots to achieve grapping targets autonomously in various applications. Visual perception algorithms, such as 3D information acquisition, scene analysis and target recognition and detection, are the key technologies for mobile robot to achieve autonomous grasping efficiently. Hence, in this project we will focus on developing the key visual perception algorithms of mobile robot for autonomous grabbing task. Firstly, we will construct a fusion vision system combined with stereo vision and depth camera to achieve high quality 3D perceptions. Then, we will study the simultaneously localization and mapping algorithm for mobile robot based on visual perception, the target detection algorithm for mobile robot based on deep convolutional neural network, and the precision manipulator trajectory planning algorithm based on visual feedback, so as to realize autonomous navigation, target detection, behavior control and implementation for mobile robots. Furthermore, we will construct the control system of mobile robot based on GPU+FPGA+ARM architecture and develop an integrated mobile robot experimental platform. The research results of this project will effectively improve the intelligentization of mobile robots. The intelligent mobile robot system developed by this project will have a great application prospect.

移动机器人在工业、农业、仓储、医疗、服务等行业有着广泛的应用前景，而且在搜索、救援、反恐、空间探索等有害或危险场合有非常重大的应用价值。众多应用场合中实现对目标的自主抓取是移动机器人需要完成的重要任务，而场景高质量三维信息的获取、基于视觉分析的自主导航和目标检测等视觉感知方法是移动机器人高效完成对目标自主抓取的关键。因此本项目将开展面向自主抓取任务的移动机器人视觉感知方法研究，研究结合立体视觉和深度相机技术的融合视觉系统，实现对场景的高质量三维感知；在此基础上，研究基于视觉分析的移动机器人自主定位和地图构建方法，研究基于深度卷积神经网络的目标快速检测方法，研究基于视觉反馈的高精度机械臂轨迹规划方法，最终高效完成对目标的自主抓取。同时本项目将构建基于GPU+FPGA+ARM架构的移动机器人控制系统，完成整套智能移动机器人平台的开发，本项目的研究成果将有效提高移动机器人的智能化水平。

移动机器人在工业、农业、仓储、医疗、服务等行业有着广泛的应用前景，而且在搜索、救援、反恐、空间探索等有害或危险场合有非常重大的应用价值。众多应用场合中实现对目标的自主抓取是移动机器人需要完成的重要任务，因此，本项目旨在开展面向自主抓取任务的移动机器人视觉感知关键方法研究，研究基于场景感知的移动机器人SLAM建图方法，研究基于深度卷积神经网络的目标检测方法，研究基于视觉反馈的机械臂自主抓取方法，提高移动机器人的智能化水平。具体的，本项目研究实现了基于快速搜索随机树算法的多机器人协作探索建图方法，并设计了基于ROS操作系统的全向移动机器人的软硬件架构，完成整套移动机器人实验平台的开发。面向复杂动态场景建图任务，本项目设计了一种基于自适应运动掩膜的异步语义SLAM新框架，在确保追踪实时性的同时放宽了对语义分割延时的要求，提高了系统在动态环境中的建图鲁棒性。面向复杂环境多物体抓取任务，本项目研究设计了带有优先级抓取策略的轻量化生成卷积神经网络，在预测目标抓取参数的同时赋予堆叠场景最顶层物体高等级抓取优先权，从而更好的完成抓取任务。面向多物体紧密堆叠场景，本项目进一步研究设计了基于深度强化学习的联合推动与抓取方法，通过推动策略将堆叠紧密的物体进行分离，通过抓取策略实现对已分离物体的自主抓取，提高了复杂堆叠场景下的目标抓取成功率。通过本项目的研究，取得了一些具有原创性的研究成果，为提高移动机器人的智能化水平提供了理论和方法上的储备。