自然场景下机器人大范围视觉伺服研究

At present, in the most robot visual servoing researches, object feature extraction process is oversimplified by using a fiducial markers and object could get out of the field of view of the camera during the robot large displacement motion. In order to solve the above problems, a robot adaptive immune zooming visual servoing method using affine invariant image features is proposed. Firstly, in order to deal with large viewpoint changes and that do not rely on specific markers in various illumination conditions and achieve feature extraction for the more general object in the nature scenes , affine invariant features, which can be suitable to the task of robot large displacement visual servoing under the natural scenes, are detected by the affine invariant feature detector, and feature matching is achieved by a robust image matching algorithm based on the improved epiploar geometry constraints. Secondly, a zoom control mechanism is introduced into the robot visual servoing system, which enable dynamic adjustment of field of view of the camera to keep all the feature points of the object in the field of view of the camera and get the high object local resolution in the end of visual servoing. Finally, system error function can be constructed by projective invariant property, this error is invariant to the changes in camera intrinsic parameters and only relevant to the relative position and pose between camera and object , zooming image Jacobian matrix is estimated adaptively using lyapunov stability theory in spite of unknown depth of the object and robot adaptive immune zooming visual servoing law is designed by using affine invariant image features to achieve the robot large displacement visual servoing under nature scenes. This research not only has important theoretical academic innovation, but also has important guiding significance of industrial applications and wide application prospects.

目前在自然场景下大范围机器人视觉伺服研究方面存在着需要人工标记，大范围伺服过程中目标易偏离摄像机视场等问题。为此，本项目提出基于仿射不变特征的机器人自适应免疫变焦视觉伺服控制策略。利用仿射不变特征检测算法检测出适合自然场景下机器人大范围视觉伺服任务的仿射不变特征，在此基础上结合改进的极线几何约束设计鲁棒的特征匹配算法、实现自然场景下无人工标记的一般物体的特征提取。通过在机器人视觉伺服技术中引入主动焦距控制，动态调整摄像机视场的大小以保证特征点始终在视场内同时在伺服末期获得较高的目标局部分辨率。利用投影不变性构造一个与摄像机内参数无关只与摄像机与目标的相对位置相关的误差函数，基于李雅普洛夫稳定性理论自适应估计出变焦图象雅可比矩阵，在此基础上设计出基于仿射不变特征的机器人自适应免疫变焦视觉伺服控制律，实现自然场景下机器人大范围视觉伺服。本项研究不仅具有重要的理论创新意义而且具有广阔的应用前景。

将视觉传感器引入到机器人控制系统，成为增加机器人对周围环境的自适应性，提高机器人的应用水平、拓宽机器人应用领域的重要基础研究问题，尤其是随着露天采矿、大型复杂装备装配等自然场景下大范围机器人视觉伺服的应用需求提出，对现有的机器人视觉伺服方法提出了更多的要求和挑战，亟需解决相关的基础方法和技术问题，为此本项目深入研究了自然场景下机器人大范围视觉伺服中的特征提取和视觉控制器设计问题，得到了如下研究成果：.（1）提出了两种快速的仿射不变特征检测和匹配算法，实现了图像大视角变化下仿射不变特征的快速、准确检测与匹配。.（2）提出了一种改进的基础矩阵估计方法----基于PSO-LMedS的基础矩阵估计算法，有效地提高了基础矩阵的估计精度，.（3）提出了基于多特征自适应融合的目标跟踪算法，实现了复杂自然场景下对目标的鲁棒跟踪；.（4）提出了基于仿射不变特征的机器人自适应变焦视觉伺服算法，在机器人视觉伺服技术中引入主动焦距控制，动态调整摄像机视场的大小以保证特征点始终在视场内同时在伺服末期获得较高的目标局部分辨率。最后利用投影不变性构造一个与摄像机内参数无关只与摄像机与目标的相对位置相关的误差函数，基于李雅普洛夫稳定性理论自适应估计出变焦图象雅可比矩阵，机器人4DOF定位结果表明了所提方法的有效性。.（5）针对视觉伺服过程中因目标偏离摄像机视野而导致伺服任务失败的问题，提出了一种基于跟踪学习检测的机器人视觉伺服方法。六自由度工业机器人视觉跟踪实验结果表明了该方法的可行性和有效性。.（6）提出了一种基于随机树的自然场景下机器人对未知物体的视觉伺服方法。六自由度机器人对未知物体的视觉定位实验结果表明所提出的方法可实现遮挡、光照变化等复杂自然场景下机器人对未知物体的视觉定位，定位误差可以达到0.05mm以内，定位精度高。.（7）提出了一种基于自适应kalman滤波的机器人无标定六自由度视觉定位方法。机器人六自由度视觉定位结果表明，在噪声的统计特性不完全已知的情况下，所设计的自适应kalman滤波器能使六自由度机器人到达期望的位置，且定位精度高。. 本项目研究不仅对机器人视觉伺服理论研究具有重要的理论价值，而且对机器人在自然场景下的大范围视觉伺服的工农业生产和社会生活领域的实际应用具有重要的指导意义。