面向双目仿生眼仿生运动功能实现的感知与控制问题研究

This proposal focuses on the perception and control problems involved in implementation of the binocular bionic eyes’ movement mechanism from the viewpoint of functional bionic, referring to the movement control mechanism of the human’s eyeballs. Main contents include: 1) binocular bionic eyes’ depth calculation algorithm based on fusion of binocular parallax and motion parallax; 2) binocular bionic eyes’ motion estimation algorithms based on 3D motion field and cluster analysis; 3) binocular bionic eyes’ movement control algorithms for saccade, smooth pursuit, vergence movement, and vestibulo-ocular reflex. The black-box-like research idea can bypass the blind zone in the area of optic nerve and neuromotor control and will not be limited by development of visual neuroscience, while it can integrate the controlled plant and external drive closely. So, this project can lead to practical research productions and promote the development in robotics and bionics.

本项目以双目仿生眼为研究对象，结合人类眼球的运动控制机理，从功能仿生角度对其运动机制实现所涉及的感知与控制问题进行深入研究。主要研究内容包括：1）融合双目视差和运动视差的双目仿生眼深度感知算法研究；2）基于三维运动场估计和聚类分析的双目仿生眼仿生运动感知算法研究；3）人类眼球扫视、平滑追踪、异向运动和前庭动眼反射等运动模式的双目仿生眼仿生运动控制算法研究。该研究可规避人类视觉内部神经控制机理，是一种由外至内的黒匣式仿生研究思路，不受对于人类视觉感知和控制内部机理认识程度的限制，能够将控制对象和外部刺激紧密结合，有望通过研究实现具有较强实用性的研究成果，在很大程度上促进机器人学和仿生学的研究进展。

仿生眼是智能机器人系统中必不可少的组成部分。本项目从仿生眼的三维感知和基于三维信息的仿生运动控制展开研究，着重研究仿生眼的三维感知和视觉跟踪方法，以及扫视运动、平滑追踪运动、机器人原位注视点跟踪和趋近注视控制等控制方法。本项目设计开发了一个具有4个旋转自由度的双目仿生眼平台，并提出了基于限位开关的粗定位方法和基于椭圆拟合的视觉精定位方法，可以使系统实现自动初始定位，在定位过程中，不需要手动的操作。基于相机的成像模型，阐述了景物点的世界坐标与图像坐标的关系，并对内参数和外参数进行了标定，对畸变参数基于 Brown 的模型进行了标定。提出了基于外部参数动态变化的双目立体感知方法和单目运动立体感知方法，实验结果表明，单目运动视觉相对感知精度为0.82%，双目视觉相对感知精度为0.38%。提出了一种基于主动注视的立体视觉测量方法，实验结果表明，利用主动立体视觉测量的深度与实际深度的误差小于5%。提出了一种鲁棒的立体追踪算法SOMCFT，通过采用左视图的原始灰度特征和HOG特征，以及右视图通过视差信息转换为左视图之后的HOG特征，并利用深度信息指导窗口尺寸变化，解决了尺度变化带来的影响，通过该方法，目标追踪的成功率和精度都有很大提升。提出了一种用于实时目标跟踪的全卷积网络，通过在4个挑战性数据集OTB2013, OTB2015,VOT2014, VOT2015进行了实验，实验结果表明，本算法具有更高的追踪精度。提出了一种基于速度补偿的仿生眼动眼控制方法。该控制器包括一个基本的视觉伺服子控制器和一个速度补偿的子控制器。前者用于消除位置误差，后者考虑了目标的运动速度，通过雅克比矩阵对控制器进行补偿，同时，还设计了一种自适应的增益调节方法来调节控制率和速度的连续性，以避免跳动，该方法能够用于眼球的扫视运动、平滑追踪运动和异向运动等。