基于听觉和视听融合的室内巡护机器人目标定位与趋近控制

Aiming at the indoor patrolling robot equipped with camera, microphone array, ultrasonic array and manipulator, this project researches on the object localization and control technologies based on audio and audio-visual fusion in large-scale scenes, which is inspired by the robot’s working conditions of “heard but unseen(or not seen clearly)” and “heard and seen”. Main research contents of this project include: (1)sound source localization based on moving microphone array; (2)object localization audio-visual fusion based probabilistic map model; (3)path planning under auditory guidance; (4) audio servo control in feature space and in 3D pose space; (5) fusion strategies of audio servo and visual servo during robot approaching to object;(6) humanized motion control of mobile manipulator for opening and closing the door. By realization of the corresponding audio-visual localization and control functions, this project will implement the patrolling robot that can find and approaching abnormal objects in all the day. Through the study of the project, 12 or more SCI/EI papers wil be published or accepted, and at least 3 invention patents will be applied.

本项目拟以安装有单目视觉、麦克风阵列、超声阵列以及机械臂的室内巡护机器人为对象，结合其在异常状况巡视过程中的“听见看不见（看不清）”和“既听见又看见”的工作特点，对室内大范围场景下基于听觉和视听融合的目标定位与控制方法进行研究。主要研究内容包括：（1）基于移动麦克风阵列的声源定位估计；（2）基于概率图模型的目标定位视听融合方法；（3）听觉引导路径规划；（4）特征空间和位姿空间中的听觉伺服控制方法；（5）视听觉伺服控制融合策略；（6）移动机械臂仿人化开关门运动控制。通过实现相应的视听觉定位和控制功能，实现巡护机器人对异常状况的全天候定位和趋近功能。通过本项目的研究，拟发表SCI/EI等高水平论文12篇及以上，申请发明专利3项。

本项目以室内巡护机器人为对象，对室内大范围场景下基于听觉和视听融合的目标定位与控制方法进行研究。在目标检测方面，提出了可用于非固定相机的运动前景检测算法以及基于快速聚类分析和参考框拟合的运动目标检测算法，实现了任意类别运动目标的有效、鲁棒、高精度检测；面向深度学习模型的数据驱动特性，结合表面缺陷检测任务的特点，从不同的数据驱动形式出发，在常规监督、弱监督、异常检测三个递进的层面上，分别提出了一系列适合实际应用场景的表面缺陷检测算法。在声源定位方面，提出了基于动态信号匹配的ITD估计技术和基于网格搜索的声源动态定位技术。在目标跟踪方面，围绕解决人体动态目标跟踪运动过程中的遮挡、尺寸变化、光照变化等问题，提出了基于SOMCFT的动态目标跟踪算法、端到端光流相关和spatial-temporal机制的目标跟踪方法，构建了双目跟踪数据集STD。在人体目标行为识别方面，提出了Gated TSN、DTPP、基于全局关节点关系的卷积网络等系列行为识别方法，构建了融合RGB行为识别、人体关节提取和关节行为识别的、以人为中心的多任务行为识别网络Action Machine，实现了能够应对多人自然场景的在线实时行为识别系统。在机器人自定位方面，提出了适用于鱼眼视觉的扩展POSIT位姿估计方法和基于地图点偏置估计的相机位姿矫正。在路径规划方面，提出一种面向单目标和多目标的相机观测位姿优化算法和面向多特征点视野约束的最短路径规划算法，将平面约束下的路径规划问题拓展至三维场景，提出了基于非均匀环境建模的大场景3D路径规划算法。在视觉伺服控制方面，提出了基于目标光流进行速度补偿的增量式跟随控制、无标定单目鱼眼图像平面内的最优平滑轨迹跟踪点选取策略及其自适应轨迹跟踪控制、面向目标跟踪的相机姿态自适应调节控制等系列技术和方法。在听觉伺服控制方面，提出了基于Jacobian矩阵的听觉伺服控制方法和基于模型预测的声源目标趋近跟踪控制方法。录用发表SCI论文14篇、EI论文9篇，申请发明专利3项。培养硕士研究生2名，博士研究生4名。