未校准环境下机器人自适应手眼视觉跟踪研究

Visual tracking is an important approach that uses image information of objects from a camera for feedback control of robots such that the robot can follow its desired trajectories. Most of the existing eye-in-hand visual tracking approaches are based on the robot kinematics and under the assumption that the camera intrinsic and extrinsic parameters or the object model are already known, and hence cannot obtain satisfying performance for high-speed motion control when the camera parmameters are uncalibrated or the object model is unknown. In this project, we will investigate the dynamics-based eye-in-hand visual tracking problem under the assumption that the camera intrinsic and extrinsic parameters and the geometric and motion model of objects are all unknown. For static objects, we will design effective visual tracking strategies to ensure that the robot can approach the object along the desired trajectories defined by the image features. To track moving objects, we will propose effective visual tracking algorithms to control the motion of the robot such that image features of the moving object will always remain at their respective desired positions on the image plane for locking the moving object or pose tracking. Considering that the problem of the camera's field of view constraint is very important, we will develop visual tracking approaches under the camera's field of view constraint. To solve the problem of noisy image velocity measurements, we will present visual tracking algorithms without the use of velocity. Furthermore, the system stability and the convergence of the tracking errors will be analyzed on the basis of the nonlinear robot dynamics. Finally, eye-in-hand visual tracking experiments based on a robot with six degrees of freedom will be provided to demonstrate the validity of the proposed tracking algorithms.

视觉跟踪是一种通过摄像机提供的目标图像信息对机器人进行反馈控制使其沿着期望轨迹运动的重要方法。现有手眼视觉跟踪大都基于运动学并假设摄像机内外参数或目标模型已知，无法在摄像机内外参数未校准或目标模型未知的高速运动场合取得理想性能。本项目将对摄像机内外参数和目标几何模型、运动模型均未知下基于动力学的手眼视觉跟踪展开研究。针对固定目标，设计有效的视觉跟踪策略以使机器人沿着由图像特征定义的期望轨迹靠近目标。为了跟踪运动的目标，提出有效的视觉跟踪算法对机器人运动实施控制以使目标图像特征始终保持在图像平面的期望位置上，实现目标锁定或位姿跟踪。考虑到摄像机视场约束问题的重要性，将研究摄像机视场约束下的视觉跟踪方法。为了解决图像速度测量噪声较大的问题，将设计不使用速度的视觉跟踪算法。同时基于机器人的非线性动力学分析系统稳定性和跟踪误差收敛性。最后通过六自由度机器人手眼视觉跟踪实验验证所提跟踪算法的有效性。

本项目的目标是在摄像机内外部参数和目标特征几何参数、运动模型均未知的条件下，为机器人设计基于动力学的手眼视觉跟踪系统。主要研究内容包括研究固定目标的视觉跟踪问题，并建立包括视觉系统、机器人系统在内的运动学及动力学模型，以及设计视觉跟踪控制器；研究摄像机内外参数未知条件下基于图像的路径规划问题；研究摄像机内外参数、机器人运动学及动力学参数均未知下的视觉伺服及跟踪控制问题；研究运动学及动力学参数均未知下任务空间速度不可测的机器人协调跟踪控制问题；研究视觉伺服及跟踪控制的稳定性问题并通过机器人实验平台验证控制器的有效性。本项目圆满地完成了预期任务和有关指标。主要成果总结如下：研究了固定目标下的视觉跟踪方法，解决了多特征点下的六自由度视觉跟踪问题。提出了一种基于图像的路径规划算法，不需要知道摄像机内外参数，为解决机器人关节极限、摄像机视觉范围等约束下的视觉跟踪问题提供了有效途径。研究了未校准环境下的机器人轨迹跟踪控制问题，发展了一种统一的视觉跟踪控制器设计方法，适合用于完成手眼及固定视觉系统下摄像机内外参数、特征点几何参数及机器人动力学参数均未知的视觉跟踪任务。在考虑电机动力学的情况下，研究了未校准环境下机器人视觉定位及轨迹跟踪控制问题，为实现摄像机、机器人运动学、动力学及电机动力学参数均未知下的高速视觉定位及跟踪控制任务提供理论依据。针对作为当前研究热点的移动机器人编队问题及机器人协调跟踪控制问题展开了深入研究，特别提出了基于视觉的移动机器人编队控制方法以及任务空间速度不可测的机器人协调跟踪控制方法。分别建立了包括机械臂、移动机器人等多个机器人视觉伺服及轨迹跟踪实验平台，并在上面进行了大量的实验研究，充分验证了所提方法的有效性。以项目为依托，总共发表了8篇学术论文，其中包括4篇SCI收录期刊论文以及3篇EI收录期刊/会议论文，培养了硕士研究生3名。