可重构深度/光流/编码运动矢量估计算法及硬件电路架构研究

There are several problems for front-end camera applications in automatic driving, including the separation between stereo/optical flow extraction and video coding, pipeline algorithm optimization, and the hardware implementability. This project will be carried out at three model levels: multi-task search algorithm model, configurable pipeline algorithm model and resource consumption model, to resolve these problems. Firstly, based on the theory that block matching can be used to estimate stereo/optical/motion vector, multi-task search algorithm model will be studied by integrating stereo/optical flow/motion vector estimation. The research is to develop variable block based multi-task search pipeline algorithm framework and multi-task search cost function model. Secondly, there will be algorithm optimization problem when to get the optimal parameter configuration from massive parameter combinations under certain complexity restriction, and the research is focusing on parameter configurable pipeline algorithm model and heuristic learning inspired complexity constrained parameter selection algorithm model. Finally, we study the multi-objective optimization method considering computing resources, storage resources and algorithm performance, and explore the reconfigurable circuit and chip pipeline architecture design. The ultimate goal is to develop method and technology system of integrating stereo, optical flow, video compression and front-end camera hardware, providing the core technology for the next generation of Ultra HD autopilot system.

针对面向自动驾驶前端摄像头应用，遇到深度/光流信息提取和视频编码割裂、流水算法优化及其芯片可实现问题，拟通过多任务搜索算法模型、流水算法可配置模型、以及资源消耗模型三个模型层次展开研究解决。首先，基于深度/光流/视频编码运动矢量估计均可通过块匹配方法进行计算的原理，研究集深度/光流/视频编码运动矢量估计为一体的多任务搜索流水算法，重点建立基于可变块的多任务搜索流水算法框架和多任务搜索代价函数模型。其次，针对在复杂度受限下，需要从海量参数组合中选择最佳配置参数的算法优化问题，重点研究可配置流水算法模型和基于启发式学习的参数选择算法模型。最后，研究计算资源、存储资源和算法性能多目标优化的方法，探索可重构电路和芯片流水线架构。最终目标是建立一套集计算机视觉深度/光流提取、高效视频编码和前端摄像头芯片架构为一体的方法与技术体系，为新一代超高清自动驾驶系统提供核心技术支撑。

在面向前端摄像头应用中，高效深度/光流/视频编码算法及其芯片可实现问题是自动驾驶系统所需要解决的核心问题。基于编码运动估计/光流/深度估计有着相似计算的特点，着力研究编码搜索框架面向硬件优化过程中存在的算法高复杂度、高串行数据依赖以及高吞吐需求产生的机理，研究降低视频编码搜索过程的计算复杂度、串行依赖和吞吐率，研究基于视频编码搜索框架的光流和双目深度估计算法，研究统一的硬件电路框架以同时复用三个估计模块并提出资源消耗模型。.重要研究成果包括：发表SCI检索论文5篇，会议论文5篇，授权中国专利5项，申请专利6项，其他期刊论文4篇。.创新研究成果包括：首先，针对编码复杂度高的问题，提出面向硬件优化的流水快速算法，该算法能在计算时间约束下对编码性能和复杂度做均衡。再次，提出基于多元线性回归的码率预估和基于频域失真预估以节省计算复杂度。最后，提出编码运动估计给光流和双目深度计算复用的算法，设计面向光流和双目深度计算的代价函数，并设计复用的硬件电路框架。.本研究的科学意义：本项目通过芯片资源、存储资源以及算法性能的多目标优化方法，解决自动驾驶的深度/光流/编码运动矢量估计算法和芯片可实现性的问题，有望有效提高自动驾驶系统的计算能效。