基于仿生视觉机理的彩色异步时域CMOS视觉传感器设计研究

The perception of biological visual information is characterized by massively parallel, image super-sparse representation, asynchronous event-driven, time-based output. The research of asynchronous temporal contrast vision sensor, following the principle of biological vision, is the key to solve the problem of conventional frame-based imagers' defects-large redundancy, long delay, transfer bottle neck and so on. The reduction of CMOS process feature size lays a foundation of the function on the image information collection in-pixels, communication, and so forth. The content of the project is as follows: research on data acquisition in color asynchronous temporal contrast vision sensor based on bio-vision, building a method model of photoelectric conversion, pixel structure and signal reading; the study of the principle and realization of time-based color pixels, time stamp of event-driven, self-timed threshold and signal readout, completing the design of the core pixel devices and circuits; research on the principle and algorithm of high speed object track on asynchronous time-based vision sensor, achieve modeling and system design in the field. Finally, the project will achieve innovative achievements in system model of asynchronous temporal contrast vision sensors, core devices and circuits, and high-speed target tracking, will break through the bottleneck of high-speed vision information sensing radically. The research results will provide valuable theories and methods of technical feasibility to the design and application of new generation vision sensors.

生物视觉信息的感知具有大规模并行、超稀疏表示、事件驱动、异步输出的特点。模仿生物视觉工作方式实现异步时域视觉传感器，是突破传统图像采集"帧扫描"采样模式带来的高冗余、高延迟瓶颈的基础性和关键性课题。CMOS工艺特征尺寸的缩减为在像素内集成视觉信息采集与通讯奠定了工艺基础。本项目研究内容包括：基于仿生物视觉机理的彩色异步时域视觉信息采集理论，建立包括光电转换、像素结构和信号读出的完善系统模型；感知时域变化的彩色像素、变化事件时间标记、自适应阈值和信号读出的工作机理与电路实现方法，完成核心像素器件和电路的设计和研制；基于时域变化的高速目标跟踪原理和算法，实现基于时域视觉信息的高速目标跟踪建模和系统设计。最终在异步时域视觉传感器系统建模、核心器件与电路实现、高速目标跟踪上取得创新成果，从基础上突破高速视觉信息采集的发展瓶颈，为新一代视觉传感器设计和应用提供可行性理论指导和技术来源。

生物视觉信息的感知具有大规模并行、稀疏表示、事件驱动、异步输出的特点。模仿生物视觉工作方式实现异步时域视觉传感器，是突破传统图像采集“帧扫描”采样模式带来的高冗余、高延迟瓶颈的基础性和关键性课题。CMOS 工艺特征尺寸的缩减为在像素内集成视觉信息采集与通讯奠定了工艺基础。本项目主要研究基于仿生视觉机理的彩色异步时域CMOS 视觉传感器，具体开展了以下三方面研究内容：.1. 基于仿生物机理的视觉信息采集理论研究与模型建立。本项目通过研究CMOS光电探测物理理论和生物视觉机理，提出了仿生视觉探测机制，并建立了包括光电转换、事件产生、仲裁输出等的异步时间域视觉传感器的架构和行为模型；建立了传感器像素的精细模型，并对像素设计中的灵敏度、满阱容量等指标进行分析，为器件设计提供指导；.2. 仿生异步视觉传感器像素与电路实现技术。基于传感器行为模型，完成了对数型光电转换器、事件产生比较器、仲裁电路以及异步接口的电路模块设计，并采用0.18umCMOS工艺完成了64×64阵列的视觉传感器的流片和测试，动态范围达到100dB，最大事件率10M/s；为提升传感器感光特性，提出了多种动态范围扩展技术，如紧凑式多次曝光等，动态范围可以提升30dB到40dB；为满足传感器信号量化需求，提出了如两步斜坡技术和TDC技术等低功耗的ADC设计技术，低失调的10bit的列级Cyclic ADC转化率600kS/s，有效位数8.6bit，功耗250uW；在电路设计过程中形成了gm/ID设计方法、噪声分析方法、寄生电容消除等多种模拟电路设计技术；.3.基于仿生视觉传感器的运动目标识别算法研究与系统设计。鉴于当前学术界对事件型数据的处理方法较为缺乏，课题组提出了多种事件处理算法和还原方法，可以在保证与传统图像处理方式相类似的效果的基础上，大幅缩减冗余信息，处理效率提高1.5~8倍；.通过软硬件的联合调试，项目完成了仿生视觉传感器的理论验证，并进一步在该系统上实现了高速运动目标的定位和追踪。该项目的实施为超高速仿生视觉感知系统、无人系统和自主设备提供了可靠性理论依据和技术来源。