多传感器图像像素级融合处理芯片集成技术研究

Multi-sensor image fusion,the fusion of visible information portion in multi- sensor information fusion, is an important branch of the multi- sensor information fusion. The pixel-level image fusion is considered to be a very important step in the modern multi- sensor image processing and analysis.The key of chip implementation of multi-sensor pixel-level image fusion is that the image processing can be performed in real time under the premise of the information fusion effect. On the basis of the existing work ,this project will combine domestic and international technology development status , and study the pixel-level image fusion processing algorithms of optical images and the SoC (system on a chip) single-chip integration .One of the research focus , is to study the pixel-level image fusion algorithms for real - time information processing applications ,and design algorithm structure and joint optimization method suitable for VLSI (large scale integration ).The other research focus is, on the basis of the algorithm, to study the SoC realization structure of the fusion information system , involving the introduction of embedded multi- processor kernel, architecture , system efficiency , performance , dedicated acceleration engine and so on.Finally, the finite of word-length effect of system-on- chip implementation and the algorithm structure mapping technology will be researched.

多传感器图像融合，即多传感器信息融合中可视信息部分的融合，是多传感器信息融合的重要分支。像素级图像融合被认为是现代多传感器图像处理和分析中非常重要的一步。多传感器像素级图像融合芯片实现的关键是在确保信息融合效果的前提下能够实时地进行图像处理。本项目将结合国内外相关技术的发展现状，在现有工作的基础上，对光学图像像素级融合处理算法及SoC（片上系统）单芯片集成实现进行研究。项目的重点之一，研究面向实时信息处理应用的像素级图像融合算法，设计适合于VLSI（大规模集成）的算法实现结构及联合优化方法。项目研究重点之二，在算法研究基础上，研究融合信息系统SoC的实现结构，涉及嵌入式多处理器内核引入、体系架构、系统的运行效率、性能、专用加速引擎等。最后对系统单芯片实现时的有限字长效应及算法结构映射技术进行研究。

多传感器图像融合，是多传感器信息融合的重要分支。通过对来自不同传感器的多源图像信息提取与综合，获得对同一场景/目标更丰富、更精确、更可靠的有用信息，广泛应用在目标检测、跟踪和识别，机场导航，医学成像与诊断等军民用领域，对国防建设和国民经济发展均具有非常重大的意义。多传感器像素级图像融合系统实现的关键是在确保信息融合效果的前提下能够实时地进行图像处理。本项目结合国内外相关技术，针对面向超大规模集成实现的像素级图像融合处理算法及单芯片集成实现展开研究，并取得了多项研究成果。. 面向实时信息处理的多源图像像素级融合系统相关算法展开研究，提出了自适应的 LIP 模型 Lee 增强算法、自适应的中值滤波去噪算法等，为后续的配准融合提供了良好的原始图像；提出基于子图特征的同源图像配准算法、基于边缘FMT的异源图像配准算法等，提高了同、异源图像配准的速度和精度；提出了基于梯度金字塔分解的多尺度融合算法，对同源及异源图像进行融合，并对融合效果进行了主客观评价。. 在算法研究基础上，研究多传感器图像融合处理系统的集成实现。本系统采用软硬件协同设计的方法，提出了一种“基于数据流分割、顶层垂直控制、本地互联、模块设计”的架构设计方法，构建融合信息处理单芯片系统基本体系结构，在SoC平台上完成了配准融合算法加速、数据接口实现以及软件应用的设计开发。 . 系统在消耗合理资源的前提下， 处理256x256大小图像耗时约10ms，尺度和旋转精度分别达到0.008和0.15°，平移误差达到亚像素级，实现较好的融合效果，满足实时处理要求，采集图与融合图可通过HDMI显示。. 本项目在国家自然科学基金委的支持下圆满完成了研究任务，发表论文21篇，其中SCI 13篇；申请发明专利8项；培养博士、硕士研究生14名。本项目在图像预处理、配准和融合等相关算法方面提出了多种新方法，设计并实现了像素级图像融合单芯片集成系统，为实现国产军用与民用融合系统的小型化、智能化和高性能化奠定了良好的基础。