面向室外复杂光照与气象条件的共融机器人多模感知系统

The complex variation of illumination and meteorological condition cause many problems to the autonomous task and the active safety of Human-robot coexistence, which have a negative impact on the robustness and environment adaption of vision algorithms. Finding effective and robust methods to deal with this problem is one of the most important researches in computer vision and the related fields. Existing methods in computer vision community are purely image-data driven, our solution, however, benefits from both hardware and software, by utilizing a multi-modal information (image data, polarization, and radar) to solve this problem: polarization arrays is applied to remove the highlight in the image while the millimeter wave radar technology helps estimate the depth information. This predicted depth can be further utilized to remove the rain, snow and flog phenomena caused by meteorological change in images. Besides, radar signal can improve the moving target detection accuracy of the perceptual system, to further strengthen the active safety of Human-robot coexistence. This multi-modal information can guarantee the robustness and real-time performance of Robot perceptual system. The survey on the current research trends further shows that this proposed multi-modal based study will be a prospective research topic. We have currently achieved preliminary results for the proposed research, thus provide a solid foundation for further work. This proposed method will be of great significance for the research of active environment perception of Human-robot coexistence.

复杂多变的光照环境与气象条件给共融机器人的自主作业及主动安全带来诸多问题，降低了其算法的鲁棒性及环境自适应性。寻求该问题的有效解决方案一直是机器人视觉及相关学科的重要研究内容。不同于目前视觉方法中单纯的基于图像数据驱动研究方式，我们将采用软硬件相结合的方式，利用多模信息（图像，偏振，雷达）来解决此问题。我们采用偏振阵列的方式来辅助消除图像中的反光（高光），引入毫米波雷达技术来感知深度信息，进而辅助去除图像中由气象变化引起的雨雪雾现象。同时雷达信号也能提高感知系统对运动目标的侦测能力，有助于提高共融机器人对人的主动安全。采用多模信息的方式解决问题也有助于保证机器人感知系统的鲁棒性和实时性。从目前的研究现状看，利用多模信息来解决光照和天气问题是一个新的研究思路。我们已取得了初步研究成果，为该课题的实施打下了良好的基础。本项目的研究内容对于提高共融机器人的自主环境感知能力研究具有积极的科学意义。

本项目面向非结构化的室外环境，从大气光学和物理成像机理出发（物理和数据联合驱动研究方式），结合图像和雷达信息，研究图像中的光照和天气变化问题，提出了具有原创性的理论模型和反光及雨雪雾去除算法。项目团队经过三年的努力，圆满完成了计划要点，在室外光照模型实验验证及优化、雷达与图像的数据匹配及运动目标检测、反光去除算法、雨雪雾模型与去除算法的研究计划要点上均取得了显著进展，提出了具有原创性的理论模型和算法，取得了较好的实验结果。发表与本项目相关的学术论文18篇（SCI 7篇），其中包括领域知名的IEEE Transactions期刊论文3篇，领域顶级CCF A类会议论文3篇，中文邀稿综述论文3篇，完成学术专著一部“全天候机器人视觉”，申请了国家发明专利3项，获2019年度中国自动化学会自然科学一等奖。在人才培养方面，项目执行期内，项目负责人田建东研究员2017年入选辽宁省百千万人才工程； 2018年入选IEEE Senior Member；2018年入选中科院青年创新促进会优秀会员；2019年入选“兴辽英才”青年拔尖人才，培养博士生4名，硕士生3名，多名学生获国内外联合培养资助、国家奖学金等。在学术交流方面，项目执行期内，团队成员参加学术会议、做学术报告12次，积极按要求参加每年的共融机器人学术交流及年度检查会议，在2018年度项目进度检查中被评为A。项目研究成果在国家和企业项目中获得成功应用，在完成本项目的基础上，获批国家重点研发项目一项。