眼球生理神经回路仿生视觉芯片技术与验证系统

Bionic vision chip technology of oculomotor control mechanism making up of vestibulo-ocular reflex and smooth pursuit and image acquirement which is applied to robots is put forward based on oculomotor vestibulo-ocular reflex and smooth pursuit eye movements control mechanisms in this project. Two technologies including single photon vision detector similar to retina and oculomotor control mechanism making up of vestibulo-ocular reflex and smooth pursuit eye movements are solved. This project have three innovations including Bionic vision control arithmetic making up of vestibulo-ocular reflex and smooth pursuit eye movements, single photon vision detector with high sensitivity and SOC, bionic vision chip on chip integrated oculomotor control arithmetic and single photon vision detector. Furthermore, all of three innovations will be verified in technology. Bionic vision chip with the function of oculomotor and size of eyeball developed in this project can solve some control problems such as unsteady tracking targets, jumping image for tracking vision, missing targets, blurring of images, narrow dynamic limits, contradiction of missing the targets and against missing the targets in the course of tracking targets. Some achievements of bionic vision chip based on oculomotor Neural Circuits are expected to do in this project.

本项目旨在眼球前庭动眼反射、平滑追踪运动控制机理和视觉芯片技术前期研究基础上，提出应用于机器人的集前庭动眼反射和平滑追踪复合眼球运动控制机理与图像获取的仿生视觉芯片技术，将解决类似人眼视网膜功能的单光子灵敏度视觉探测器、前庭动眼反射复合平滑追踪眼球运动控制机理两大关键技术，形成具有以前庭动眼反射有机耦合平滑追踪复合运动为特点的眼球神经回路仿生视觉控制算法，单芯片集成、高灵敏度探测的单光子探测器，眼球仿生算法与单光子探测器集成在同一芯片以实现仿生视觉芯片这三个创新点，并进行相应的技术验证，期望研制具有人眼运动功能的、仅有眼球大小的、能够解决机器人或者在振动、干扰等恶劣环境中应用的视觉系统所遇到的跟踪目标平滑稳定性差、跟踪视频图像跳动、跟踪目标丢失、图像模糊、动态范围窄以及跟踪"脱靶"和"反脱靶"矛盾等控制问题的仿生视觉芯片，能够在以眼球生理神经回路为特征的仿生视觉芯片方面取得一些突破。

准确理解与感知外界信息是机器人自主完成任务的关键。在非结构环境中，由于机器人的运动环境、自身姿态变化和机体振动等的影响，使得现有机器人视觉系统难以满足这些振动、颠簸环境中的应用要求，往往会出现跟踪视频图像的跳动、图像模糊以及跟踪目标的丢失等问题。本项目就是利用类人眼球运动的控制机理来研制机器人的仿生视觉芯片，使仿生机械云台上的图像传感器能够在振动、颠簸环境中实现比较稳定的图像跟踪。项目立项以来，项目组围绕①脑机制干预下的眼球前庭动眼反射复合平滑追踪运动控制机理、②类似视网膜的单光子灵敏度视觉探测器件原理结构与建模、③仿生算法要求的高时间分辨率皮秒级响应读出电路技术研究、④基于仿生视觉芯片技术的云台原型系统研制和⑤仿生视觉芯片功能验证等核心内容展开研究。在项目执行的五年期间，研究进程整体按任务书进度要求执行，并完成了任务书规定要求。项目组在单目前庭动眼反射复合平滑追踪运动神经功能图谱、复合眼球运动脑控机理建模以及仿生算法进构建、类人眼仿生机械云台装置设计、单光子探测器原理-结构-仿真与实现研究、深度信息计算算法建模与仿真研究、高速模数转换器信号处理电路设计和全芯片静电保护器件设计等方面取得一定的研究成果。在本项目支持下，发表学术论文151篇，其中SCI源刊76篇；申请国家发明专利 46项，其中授权18项；获得集成电路布图保护登记证书43项；获得软件著作权2项。团队获得国家技术发明二等奖1项，上海市科技进步一等奖1项，上海市技术发明一等奖1项，上海市技术发明二等奖2项。