复杂环境下基于视觉的移动机器人导航控制和虚拟现实关键技术研究

With the arrival of Industrie 4.0, robots are required to work in more challenging environment and perform demanding tasks. Since traditional navigation methods is no longer sufficient in this condition, there is an urgent for the next generation of navigation algorithm to guide mobile robots through complex unstructured environment safely, efficiently and robustly. To solve the problem, this project inosculates the advanced techniques in control theory, sensor technology, computer vision and human-robot interaction, and proposes a vision-based navigation framework in complex environment. A complete theory system of mobile robot vision-based navigation will be constructed, including visual simultaneous localization and mapping (V-SLAM), combined trajectory planning with dynamic obstacles considered and self-adapting visual servo control. A simulation software equipped with virtual reality techniques will be developed. This project aims at the deep-going research on the technological means of eliminating the disturbance of varying illumination, adapting to the dynamic complex environment and improving the performance prominently. This project tries to find the innovative solutions to the dilemma of robustness, accuracy and efficiency in the existing algorithms. A mobile robot prototype will be built to conduct the test and evaluate the adaptability and reliability of the proposed methods and algorithms in dynamic real environments. The study on vision-based navigation methods in complex environment offers a feasible way to autonomous navigation of service robots or driverless cars and improves autonomy of robots in a large extent.

工业4.0时代的到来，对机器人的自主性、智能性提出了更高的要求。传统的导航方法已无法满足移动机器人在未知的、动静态混合的自然环境中自主作业的需要，一种有效的、系统的、针对复杂环境的新一代移动机器人自主导航方法具有重大的研究价值。本项目将针对上述问题，融合控制理论、传感器技术、计算机视觉及人机交互等先进信息技术，提出一种以机器人视觉为核心的导航控制框架，构建包括视觉同步定位与建图、组合动态轨迹规划和视觉伺服控制在内的完整导航理论体系，并开发相应的虚拟现实仿真平台。着力研究真实环境中光照变化、动态障碍物等对视觉导航带来的技术难题，提出一套精度高、鲁棒性强的系统导航解决方案。最终建立基于视觉的自主导航移动机器人实验样机，并在真实环境中开展测试。复杂环境下的移动机器人导航控制理论研究，为实际应用中服务机器人或无人驾驶车辆的自主导航提供可行方法，大大提高机器人在非结构化环境下的自主能力。

研究团队针对视觉同步定位与建图（SLAM）中的动态环境，精度提高，光照变换三个核心挑战分别开展研究，设计了对应的方案并理论验证。由多传感器融合和动态环境问题研究中的特征数据，整合组成多源数据动态、静态特征数据库，对三个问题的解决方案进行量化测试，通过后进行整合，最终形成可行的高精度、高鲁棒性、动态环境适用的SLAM算法。针对轨迹规划问题，主要研究动态障碍物的运动估计和局部轨迹重规划方法，结合全局规划，形成动态环境轨迹规划算法。针对运动控制问题，主要研究高速鲁棒特征点的识别、非完整性约束处理及参数自适应问题，形成鲁棒的视觉跟踪控制算法。同时，对现有的虚拟现实仿真方法进行改进和优化，开发复杂混合环境仿真平台及数据库。由导航控制框架，整合SLAM算法、运动规划与控制算法，形成完整的复杂环境下移动机器人自主导航的算法，在自主开发的仿真平台中进行验证及优化。最后在真实的移动机器人上进行实验，在室内外多种环境中测试开发样机的系统性能。.研究团队和广州唯品会公司合作研发了两代智能物流配送无人车，具有极高的自主性和实用性，可进行量产。支持的未来机器人有限公司借助本项目的成果加速其无人工业叉车系统的研发与落地。在非结构化与高动态的复杂工业物流仓储环境中，基于视觉的建图、定位、导航技术促进了不同类型的无人叉车以小于5厘米的路径跟随精度自主执行任务。通过将所研发的移动机器人自主导航技术集成于全尺寸拖车-拖斗系统，成功搭建了无人货物运输系统样机，并在香港机场空运货站对其进行了广泛的集成测试。现场测试时间超过3个月，连续测试里程超过200公里。采用拖车牵引多台拖斗的运输方式不仅效率大大提高而且成本很低，对促进工业车辆完全自主驾驶并广泛推广部署具有重要意义。在该项目的执行期间，研究团队一共发表82篇论文，其中SCI索引论文43篇，EI论文索引39篇。包括Transaction期刊共计30篇；机器人领域，控制领域，图像处理领域，智能交通领域顶级期刊TRO、TAC、TIP、T-ITS共计7篇；机器人领域和计算机视觉领域顶级会议ICRA、IROS、CVPR、ICCV、ECCV论文共计22篇。本项目相关研究获IEEE RAL 2019年度最佳论文提名，获得2019年T-Mech年度最佳论文提名。已授权国家发明专利2项。申请并公开国家发明专利10项，另有一项申报的美国专利。