人类双眼绕视轴旋转的视觉控制神经系统的数学模型及与之对应立体视觉算法

In this project, we plan to build a mathematical control model of the neural system for human-eye rotation around the visual axis, apply it in bionic binocular system with three degrees of freedom and design the corresponding 3D reconstruction algorithm. Our team has done more than 20 years of research in mathematical control model of human-eye neural system. We have proposed the definition such as cooperative eye movement, standard vergence etc., and a number of research results have been applied to the visual sensor and 3D shooting products. This project focuses on the motion characteristic of human-eye rotation around the visual axis in the same direction, which has never been explored and used in the field of robot vision and 3D shooting, then we analysis the characteristics of the same direction rotation and the resulting visual processing principle. 5 critical issues need to be deeply researched. (a) To test the dynamic characteristics of the human-eye rotation around the visual axis in the same direction. (b) To analysis the visual impact by the human-eye rotation around the visual axis in the same direction. (c) To build a mathematical control model of the neural system for human-eye rotation around the visual axis. (d) To verify the validity and rationality of the binocular mathematical model. (e) To research the 3D reconstruction algorithm closely related to binocular rotation around the visual axis.

构筑人眼绕视轴旋转运动控制神经系统的数学模型，并应用于各眼三自由度仿生双眼系统，开发与之对应的三维重建算法。本团队在人眼控制神经系统的数学模型方面有着20多年的研究历程，提出了双眼协调运动控制原理和标准辐辏等概念，多项成果应用于视觉传感器和3D拍摄产品。本项目把研究聚焦在机器人视觉领域和3D拍摄领域中从未被探讨和使用过的绕视轴同向旋转这一人眼运动特性上，解析该运动的特点和由此而产生的视觉处理原理。具体内容有：(1) 测试人眼绕视轴旋转的眼球运动的动特性；（2）解析双眼绕视轴同向旋转所产生的视觉影响；（3）构建人类眼球绕视轴旋转的控制神经系统的数学模型；(4) 利用仿生双眼视觉运动控制系统实验床，验证该双眼数学模型的有效性与合理性；（5）开展与双眼绕视轴旋转密切相关的三维重建算法研究。

机器人等智能系统是人工智能技术最直接、最普遍的应用，将成为未来新型生产工具广泛服务于人类社会的各行各业。环境感知是机器智能实现的基础。本项目旨在通过解析人眼运动规律，研制可动双眼系统并开发立体视觉算法，赋予机器人可靠的视觉传感媒介及环境感知能力。本项目以人类视觉生理学和解剖学等知识为基础，测量并分析了人类眼球旋转运动特性，完善了机器仿生视觉运动控制理论，搭建了可动仿生双眼系统实验平台，开展了立体匹配、点云配准等立体视觉核心算法研究，支撑了仿生双眼三维重建系统构建。具体内容有：.1）搭建了人类眼球运动测量系统，聚焦分析了人类眼球旋转运动特性，并完善了人眼运动控制模型，为指导后续仿生双眼视觉系统研究提供重要理论支撑。.2）基于人眼结构特点及运动特性模型，结合工学控制及机械原理相关理论，设计了首个6自由度仿生双眼视觉运动控制系统。针对因机械加工水平及安装工艺限制导致的视觉系统与理论模型的差异问题，提出了仿生双眼自标定方法以及立体视反馈控制方法，突破多目视觉系统运动难的技术瓶颈，可广泛应用于相关机器仿生视觉感知任务。.3）借鉴人类双眼感知深度原理，提出了融合传统算法与卷积神经网络的高精度立体匹配算法，利用局部信息和上下文信息提升视差估计精度，在领域权威公开评测榜Middleburry V3上误差容错4像素时精度排名第四，在A-95指标上位列当时（2017年11月）鲁棒性性能第一。进一步通过设计深度3D表征网络增强点云配准的鲁棒性和稳定性，完成单帧视差到场景点云的拼接，实现三维重建。.4）为了验证本项目研究内容的有效性与实用性，搭载仿生双眼的移动机器人在工作园区实际场景中运行，获得了还原真实场景三维信息的稠密点云，建立场景空间信息感知基础，对推动智能机器人各应用落地具有重要的意义。