未知环境下基于单目视觉的移动平台目标跟踪方法研究

In this project, the monocular vision based methods of moving object tracking with mobile platform will be studied facing the condition of unknown environments, and simultaneous localization, mapping and object tracking (SLAMOT) will be achieved. Firstly, the project will present mathematic model of problem and algorithm framework of system. Secondly, in order to solve bearings-only measurements problem using monocular sensor, the condition of SLAMOT observability will be studied, and a multi-objective optimum control method will be presented to meet requirements of system observability and safety. Thirdly, in order to get observation measurements of environment features and moving objects, an automatic selection mechanism based on special scene will be proposed, and an adaptive target recognition method through multiple cues will be presented. Fourthly, to get environment scale and object initial state, an estimation method of environment scale using prior knowledge will be proposed, and a batch based initialization methods of object state will be presented as well. Fifthly, data association methods of single and multiple objects tracking will be presented to deal with problems of unknown object moving model issue and object false measurements issue, achieving coupling estimation of different type objects. A main objective of this work consists in researching of methods that robot used to get the cognition of environments and itself by monocular vision. The relevant research and results of the work will help to compensate the margin of different research areas, promote jointly development of different research directions，which possesses important theoretical sense and practical values.Research on Monocular Vision Based Object Tracking with Mobile Platform in Dynamic Unknown Envoironments

项目针对未知环境下基于单目视觉的移动平台目标跟踪方法展开研究，实现移动平台利用单目视觉完成平台自身、环境特征和目标状态的同步估计。首先，拟建立该问题的数学模型并提出系统算法框架。第二，针对单目视觉传感器深度观测量缺失问题，研究系统可观性条件，拟提出满足可观性和安全性条件的移动平台多目标优化控制方法。第三，针对环境特征和目标观测值获取问题，拟提出环境特征自动选择机制和基于多线索生物视觉机理的目标识别方法。第四，针对环境尺度未知性问题和目标状态初始化问题，拟提出基于先验知识的环境尺度自动估计和基于批优化的目标状态初始化方法。第五，针对伪观测值和目标未知运动模式问题，拟提出单目标和多目标跟踪数据关联方法，实现不同对象的耦合估计。该项目的科研目的是研究基于单目视觉传感器的机器人环境认知和自我认知方法，其成果有助于弥补不同研究方向的研究盲点，促进相关学科方向的交叉发展，具有较大理论和较好应用前景。

项目针对未知环境下基于单目视觉的移动平台目标跟踪方法相关问题展开研究，主要研究内容和成果如下：. 首先，建立了基于贝叶斯网络的问题求解模型，该模型利用马尔科夫链描述目标状态估计过程，在机器人状态估计主链的基础上实现环境特征状态和目标状态的同时在线估计。. 第二，针对单目视觉传感器深度观测量缺失问题，研究了系统可观性优化控制方法，提出了基于目标状态分布椭球体积最小化及目标协方差阵更新最大化的机器人目标跟踪运动控制方法。仿真和实体机器人实验表明，该方法使机器人在目标跟踪过程中生成类螺旋状运动轨迹，该轨迹能够提供足够的目标观测视差，进而使目标状态快速收敛，实现目标深度的实时估计。. 第三，针对环境特征和目标观测值的快速实时获取及匹配问题，设计了一种改进的ORB特征匹配方法。该方法首先采用传统的FAST实现环境特征点的获取，并利用高斯差分法完成尺度不变性特征点的筛选，在此基础上，利用ORB匹配方法学习生成单独特征点描述子，再以该描述子相对特征点和质心连线方向和距离为同一模式，生成其它特征点的描述子。实验表明：对比ORB特匹配方法，该方法平均耗时减少9ms；在尺度变换不显著的情况下，该算法平均误匹配率降低了19%。. 第四，针对环境尺度未知性问题和目标状态初始化问题。提出了基于多视图几何约束的优化估计方法，该方法利用异面直线公垂线的中点深度估计实现目标和环境特征初始深度估计，有效提高了目标和环境特征状态初始化的精度。. 第五，针对目标运动模式未知问题，提出基于多模态交互滤波的估计方法，该方法以多模态形式描述目标运动学规律，并在扩展式卡尔曼框架下实现目标状态估计。仿真实验表明：相比于单模态估计方法，该方法对目标位置估计误差平均值降低了60%。. 总之，通过该项目的研究解决了未知环境下单目视觉目标跟踪所涉及的有关问题，为单目视觉移动平台的民用和军事应用提供了理论和方法支持。