基于仿生机理的高速CMOS视觉系统芯片研究

Along with continuously increasing requirements of frame frequency and image resolution of image sensing in the practical applications, the traditional "frames scanning" image capturing mode will produce dozens of Gb/s data throughput. In that way, the traditional readout circuit and processing circuit will encounter the bottleneck of speed. To explore a new image sensing architecture, which includes a new readout circuit and pre-processing circuit driven by extremely high frequency clock, will become the inevitable choice to overcome the speed bottleneck, and it also has been the international research interest in the field of imaging. The information perception and processing of biological visual sensing has some features of event driven, asynchronous response, sparse representation and parallel processing. Based on this mechanism and in-depth study of CMOS image sensors and processors, this project will research the new chip architecture of the high speed CMOS visual system. This chip integrates asynchronous CMOS visual sensor, high-speed readout circuit, multi-levels high-speed parallel processors and an embedded arbiter module based on the neural network theory. Based on the concept of RFIC design, an ultra-high speed readout circuit and pre-processor circuit driven by high speed clock for CMOS image sensor will be developed, and these circuits will enable the date throughput to reach up to 10 Gb/s. Through this project, fundamental theory and practical technical guidance will be provided to break through the bottleneck of the development of high-speed CMOS visual information collection.

随着实际应用对图像感知帧频和分辨率要求的不断提升，传统“帧扫描”的图像采集模式将产生数十Gb/s的数据吞吐率，这使得传统的读出与处理电路遇到了速度瓶颈。探究新型图像感知构架和新型极高频时钟驱动下的读出电路与图像预处理电路成为克服传统速度瓶颈的必然选择，也成为当前国际图像感知领域的研究热点。生物视觉的信息感知与处理具有事件驱动、异步高效、稀疏表示和并行处理的特点。基于这种机理，本项目在深入研究CMOS图像传感器和处理器的基础上：开展高速CMOS视觉系统芯片的新型体系架构研究；通过针对基于地址事件表示的高速视觉事件感知的研究，以及基于接收仲裁的并行处理的研究，提出基于此视觉系统芯片的高速目标识别与跟踪系统；基于RFIC的设计思想，设计开发由高速时钟驱动的数据吞吐率达10Gb/s以上的高速读出电路与高速图像预处理电路。为从根本上突破高速CMOS视觉信息采集的发展瓶颈提供可行的理论指导和技术来源。

随着实际应用对图像感知帧频和分辨率要求的不断提升，传统帧扫描的图像采集模式将产生极大的数据吞吐率，造成读出与处理电路的速度瓶颈。生物视觉的信息感知与处理具有事件驱动、异步高效、稀疏表示和并行处理的特点，是解决高速成像速率瓶颈的新思路。本项目基于仿生视觉机理，开展了高速CMOS视觉系统芯片研究。.课题组通过分析生物视觉的感知和处理方式，提出了事件驱动的动态视觉传感架构、脉冲视觉传感架构等高速仿生视觉芯片架构，并完成了关键模块电路的物理模型和设计方法研究；进一步开展了仿生视觉感知芯片像素和电路的设计研究，完成了100万像素的视觉传感芯片的设计，有效数据吞吐率达到40Gb/s，并完成了一款128×128分辨率的兼容灰度成像和事件驱动的动态视觉感知芯片以及一款400×250分辨率40kfps高速脉冲视觉感知芯片流片和测试，时间分辨率达到0.05ms以下；针对新型的事件和脉冲数据形式，研究了图像重建和增强算法、事件型卷积处理器和卷积方法、基于CNN目标识别追踪方法及多核处理器实现方法等仿生感知数据处理器及处理算法研究；最后，课题组基于所研究视觉传感芯片，搭建了多方向仿生目标识别系统和高速目标跟踪系统，可达到1000帧/秒的实时常规视觉信息处理，且对脉冲视觉数据的处理可达到40k帧/秒的处理能力，对高速目标定位追踪的能力大幅提升。.综上，本项目从视觉机理、架构、模型、电路设计技术、算法、系统等多层级完成了仿生视觉芯片的体系化研究，发表高水平论文42篇，申请发明专利23项，培养研究生22人，形成了新型仿生视觉感知理论和芯片、算法技术体系，突破了当前高速成像的技术瓶颈，为高速视觉信息感知技术发展提供了可靠的理论指导、技术来源于人才储备。.本项目在国防科技创新特区支持下开展了应用技术研究，完成了与兵器工业集团、航天集团等研究所的技术对接，将为我国武器、无人系统研制提供高速视觉解决方案；同时在研发中与业界CIS公司开展技术合作，实现间接经济效益近10亿元，实现了显著的社会和经济效益。