单光子成像与深度学习融合的仿生视觉芯片关键技术研究

Aiming at the urgent needs for high-speed acquirement and real-time processing capacity of intelligent visual information required by the new-generation information technology in the background of rapid development of the information society, the exploration of new image sensing technology and high-performance low-power image processing circuit has become a research hotspot in the field of visual chip development. It is the characteristics of the information perception and processing of biological vision system to be highly sensitive and of low power consumption. On the basis of the working mechanism of the simulated biological vision system, this project will carry out following studies based on the research of single photon imaging sensor and deep learning technology: key technological study of biomimetic vision chip which is intended to combine single photon imaging and deep learning, research of several key scientific and technical issues including the bionic visual chip system architecture, high-performance array single photon imaging sensor, multi-level parallel visual information processor based on pulse convolution neural network and the design and application of low-power circuit, explore the possibility of breakthroughs of the bottlenecks facing the existing video chips including low imaging sensitivity, great data redundancy and high power consumption, work out an effective photoelectron / microelectronics hybrid integrated circuit design method and design new high-performance low-power bionic visual chips. This research is expected to further push China’s research in the field of visual chips to the world’s forefront and promote the development of China’s artificial intelligence industry.

针对信息社会发展和新一代信息技术产业对智能视觉信息高速获取和实时处理能力的迫切需求，探索基于新型图像感知和图像处理方法的仿生视觉芯片成为当前的研究热点。本项目拟开展单光子三维成像与深度学习融合的仿生视觉芯片关键技术研究，在深入研究单光子成像传感器和深度学习技术的基础上，探索和研究仿生视觉芯片体系架构、高性能阵列式单光子成像传感器、基于脉冲卷积神经网络的多级并行式视觉信息处理电路和高能效电路设计等关键科学技术问题；突破现有的视觉芯片中成像灵敏度低、图像处理精度低、无法三维成像和功耗较大等瓶颈效应；摸索出一套有效的光电子/微电子混合集成电路设计方法，设计出新型的高性能低功耗仿生视觉芯片。把我国在视觉芯片领域研究推向世界前沿水平，促进我国人工智能产业的发展。

视觉是人类感知外部世界的最重要手段，视觉信息占到人类获取外部环境信息总量的80%。针对新一代信息技术产业对智能视觉信息高速获取和实时处理能力的迫切需求，探索基于新型图像感知和图像处理方法的仿生视觉芯片成为当前的研究热点。单光子成像和脉冲卷积神经网络深度学习技术都是采用电脉冲信号式的视觉信息表达、传输与处理方式，本项目针对现有视觉芯片的瓶颈问题展开研究，探索和研制集成单光子成像传感器和深度学习脉冲卷积神经网络处理器电路的仿生视觉芯片，设计研究工作富有挑战性。在项目执行期的3年时间内项目研究团队紧密围绕项目的研究目标，不懈努力地研究解决和突破了仿生视觉芯片体系架构、高性能阵列式单光子成像传感器、基于脉冲卷积神经网络的多级并行式视觉信息处理电路和高能效电路设计等关键科学问题和技术难题。提出了新型的单光子三维成像与深度学习融合的仿生视觉芯片架构，模拟生物视觉系统的图像感知和图像处理的机理，为实现仿生视觉芯片奠定了基础；提出了基于单光子三维成像的仿生视觉传感器关键电路，实现了CMOS 128x128阵列式单光子三维成像图像传感器；提出了基于脉冲卷积神经网络的多级并行低功耗处理电路，基于迁移学习将卷积神经网络转化为脉冲卷积神经网络，实现了二维/三维图像模式识别等功能；提出了蓄水池压缩编码方法，对传感信息无损地压缩以提高进入脉冲神经网络信息密度，提高了脉冲神经网络的运行效率；摸索出一套从工艺条件、光电子器件、模拟电路和数字电路到系统芯片设计的数模混合集成电路设计方法，支撑了仿生视觉芯片的设计；实现了基于FPGA平台的仿生视觉芯片测试演示系统，系统集成了事件驱动型传感器和脉冲神经网络视觉芯片，在不低于50MHz的工作频率下可完成脉冲图像获取和脉冲信息处理模式识别的功能；突破了现有的视觉芯片中成像灵敏度低、图像处理精度低、无法三维成像和功耗较大等瓶颈。把我国在视觉芯片领域研究推向世界前沿水平，促进我国人工智能产业的发展。