面向异形动态目标的视觉伺服轨迹规划与跟踪方法研究

Visual Servoing (VS) faces a variety of dynamic products of different shapes and variations in industrial applications. It is imperative to realize the function of controlling an arbitrarily positioned robotic eye-in-hand system to rapidly approach the observed dynamic target in any shape. Application-related technical bottlenecks of VS technology include: feature exploration of targets in various shapes, satisfaction of multidimensional space constraints in large displacement of visual servo system, and system adaptation to targets’ motion and shape variations. This project proposes to use moment-based information obtained from projections in the unified camera model to build new advantageous features in VS applications; proposes to use Linear Matrix Inequalities (LMI) based nonlinear optimization methods to solve the new feature trajectory planning problem under multi-dimensional constraints; proposes to solve the system adaptive problems for dynamic targets by improving the trajectory planning and tracking convergence efficiency of new features under multidimensional constraints, and simultaneously estimating the feature instantaneous variations under dynamic influences, and accordingly performing on-line trajectory planning, adjustment and tracking compensation. In summary, this project is aimed at realizing a VS system for dynamic targets in different shapes, achieving a system function that can quickly approach various target shapes from a long distance, and then achieve an adaptive and rapid approach of the system to dynamic targets. This project is beneficial to the development of visual servo technology, and is expected to have not only theoretical innovation, but also important application value in modern industry.

视觉伺服系统面临工业应用中产品形态多异和产品动态特性复杂多变的问题，亟待实现控制机械臂手眼系统自任意位姿迅速趋近观测中异形动态目标的功能，尚需解决与应用相关的技术瓶颈，包括异形目标特征构建、视觉伺服系统大移位中的多维空间制约问题、面向目标空间运动和形态变化的系统适应问题。本项目拟采用统一相机模型中映射的矩信息构建面向异形目标的优势新特征；采用基于线性矩阵不等式的非线性优化方法解决多维约束下的新特征轨迹规划问题；通过提高多维约束下新特征的轨迹规划和跟踪收敛效率，同时估计动态影响下的特征瞬时变化，据此进行在线轨迹规划、调整校正和跟踪补偿，来解决面向动态目标的系统自适应问题。综上所述，本项目旨在实现面向异形动态目标的视觉伺服系统，达到可远距离快速趋近异形目标的功能，进而达成系统面对异形动态目标的自适应快速趋近，有利于发展视觉伺服控制理论应用于现代工业中，理论创新的同时，具有重要的应用价值。

项目背景：视觉伺服系统面临工业应用中产品形态多异和产品动态特性复杂多变的问题，亟待实现控制机械臂手眼系统自任意位姿迅速趋近观测中异形动态目标的功能，尚需解决与应用相关的技术瓶颈，包括异形目标特征构建、视觉伺服系统大移位中的多维空间制约问题、面向目标空间运动和形态变化的系统适应问题。本项目提出了基于图像矩的新特征误差及其雅可比矩阵，特征轨迹规划与加速跟踪方法，旨在降低视觉伺服系统对固有特征点的依赖，满足多约束的同时减少趋近步长，提高系统面向异形动态目标的适应性。.主要研究内容：为了验证方法的可行性，在三年的研究期间，如申请书所计划的开展了面向异形目标的优势新特征构建，基于非线性优化提出多维约束下的新特征轨迹规划与伺服跟踪加速方法，适用于动态目标的轨迹在线调校与跟踪补偿方法等主要内容的研究。.重要结果：1、为规则形状组合目标构建了基于图像矩的视觉伺服控制输入特征向量，推导了特征向量与目标模型参数、成像模型之间的关系；为了减轻系统针对组合目标整体全程可视的约束依赖，设计伺服控制输入特征向量的自适应重组方法，推导与其对应的特征雅可比转换矩阵和在线切换方法；验证了所构建特征及其雅可比矩阵的可行性，针对图像噪声的鲁棒性，尤其是相机大移位情形下的全局收敛性；2、通过建立视觉特征轨迹规划模型，定义跟踪误差，设置轨迹插值，进行多参数优化，紧密跟踪的同时，尽可能地缩减跟踪收敛时长，提升系统面对动态目标的自适应能力；3、在动态环境下，通过在视觉伺服控制器中引入参照视觉特征的校正量和控制器输出的动态补偿量，结合新构建的控制输入特征向量及其雅可比转换矩阵，调整视觉伺服控制器的输出。.科学意义：为视觉伺服系统提供面向多形态目标、可满足多个硬件条件制约的控制输入特征轨迹及其转换雅可比，扩展视觉伺服系统的适用目标范围，提升全局收敛效率，为特殊复杂环境下的视觉伺服控制奠定理论和技术基础。