针对视频分析的高能效异构硬件计算系统研究

The amount of data in our world has been exploding, and analyzing large data sets-so-called big data-will become a key basis of competition. Video is one of the key components of big data. However, the unsatisfactory power efficiency of current digital system has significant impact on the effectiveness of video analytics. Traditionally, Moore's Law has enabled a steady progression of low-cost, high performance digital computing hardware, providing the processing power needed for video analytics. But Moore's law is beginning to stall, especially in power efficiency, forcing people to turn to alternative architectures and devices instead of purely digital systems. Following the technology roadmap of seeking cross-layer solutions to the power efficiency challenges, we propose to create a heterogeneous hardware computing system for video data analytics based on emerging devices and customized acceleration. This project will break through the crucial techniques of power efficient platform for multilayer neural networks, hardware accelerator for neural networks training, high performance interconnection architecture of analog units, hardware/software co-optimization, and reliable mixed-signal system simulator. This project will try to achieve two orders of magnitude improvement in power efficiency and improve the computing capabilities in the area of video analytics.

视频数据是大数据的主要来源，当今计算系统并不理想的能效水平是视频数据分析的根本瓶颈。在半导体行业的摩尔定律已无法有效降低数字系统的能耗水平的背景下，根据应用和算法特点，在体系结构和电路层面，结合新器件，提出优化相应计算系统能效的通用方法是亟待解决的科学问题。本项目将以跨层的思路，对"算法-硬件结构-电路-器件模型"四个层面进行联合优化，针对视频数据分析应用领域的共性，探索使用新器件及硬件定制等方法，设计出在视频分析领域具有一定通用性的高能效异构硬件计算系统，并突破基于忆阻器的高能效多层神经网络构建、神经网络训练的硬件加速、模拟计算单元的高效连接方式、针对视频分析算法的高能效结构映射、数模混合系统的仿真测试等一系列关键技术，将完整系统的能效水平提高2个数量级，解决视频大数据处理的能效难题。

视频分析涉及到多方面的研究内容，包括图像的理解、语音的识别（部分场景）与理解以及图像流之间的关联，随着人工智能的大面积应用，越来越多的场景需要更高能效、更快处理速度的硬件计算系统。本项目针对视频分析的高能效异构硬件计算系统展开了全面研究，分别基于忆阻器新器件和传统CMOS计算平台，从算法分解、计算功能单元设计、体系架构设计和系统设计等多个层面，实现神经网络计算的高能效硬件系统，并解决大规模扩展时存在的问题。在基于忆阻器的工作中，研究团队提出了一套从硬件底层到算法顶层的完整解决方案，包括算法映射、数模混合接口设计、仿真器设计、非理想因素分析、容错策略、自动化设计等等，研究组所提出的基于忆阻器的神经网络计算系统能够达到高于传统CMOS计算平台两个数量级的能效。另外，基于FPGA，研究团队结合神经网络压缩技术，从硬件设计、软件工具、编译器、算法分析和改进等多个层面展开研究工作，实现了面向大规模视频图像数据的高能效机器学习系统，能够达到比GPU高数十倍的能效和数倍的处理速度。本项目共发表65篇文章，其中期刊文章19篇，会议文章46篇。共申请7项发明专利，其中1项已获得授权，与神经网络加速器相关的专利已作价入股北京深鉴科技有限公司，现估值已逾10亿人民币，其中清华知识产权估值过亿人民币。