基于统计建模和稀疏表示的图像视频增强表达和高效编码

With the rapid development of multimedia technology, applications involving image and video have becoming more and more popular, such as digital TV and wireless mobile multimedia. On one hand, from acquisition to transmission and display, the quality of image and video may be destroyed, which will seriously affect the visual pleasure of receivers. On the other hand, huge amount of image and video data make it difficult for store ,transmission and understanding. Although the compression performance of current video coding standards, such as H.264/AVC and AVS, has increased more than one time than other existing ones, these compression techniques still need to improve. Consequently, how to further improve image and video quality and image and video compression performance has attracted more and more attention. Our research includes two main parts. In the part of theory research, we will try to establish a unified framework to combine the modeling power of statistical and sparse representation. In the part of application research, based on the proposed statistical model and sparse representation, we try to seek the efficient algorithms for enhancement and compression of image and video. This research involves statistical model and information theory basis, and needs to investigate from new views and base on the new conditions and applications. Consequently, this research is full of forward looking and challenging. This research expects to make a breakthrough in some points of the theory, and generate some technique inventions, for the sake of establishing theoretical and technical foundation for the video applications.

随着多媒体技术的迅猛发展，与图像和视频相关的应用场景也不断拓宽，如数字电视和无线多媒体通信等。一方面，图像和视频从生成、传输到显示的各个环节，都会受到某些因素的干扰而产生质量下降，这会严重影响观众的主观视觉感受；另一方面，海量的图像视频数据给实际的存储、传输和理解带来相当的困难。尽管主流图像和视频编码框架迄今为止获得了不小的成功，但矛盾仍然尖锐。因此，如何寻求高效的图像视频的增强表达和编码方法，依然具有十分重要的意义。本课题的理论研究着眼于构建高效的统计稀疏视觉模型及其相应的理论框架，建立针对图像视频基本内容与结构的表示框架和数学模型；应用研究面向实际问题，研究符合人类视知觉特性的高效图像视频增强表达和编码方法。本项目涉及统计和信息论基础，需要从新的角度、基于新的条件和应用进行研究，具有前瞻性和挑战性。本课题预期在理论上有所突破，技术上有所创新，为相关实际应用奠定理论和技术基础。

本项目“基于统计建模和稀疏表示的图像视频增强表达和高效编码”针对自然图像和视频信息的特点，在理解与总结视觉信息建模机理的基础上，完成两个方向的目标：完善图像和视频信息的统计建模和稀疏表示的理论方法，研究鲁棒、自适应的混合上下文模型学习方法，研究自然图像局部平滑，全局自相似特性与稀疏表示的内在联系以及形式化描述和求解方法；进而研究符合人类视知觉效率，基于自然图像模型的图像和视频增强表达和高效编码关键技术，旨在有效地提升图像和视频信息的质量，去除图像和视频信源之间的冗余信息，为相关实际应用奠定理论和技术基础。本项目研究内容包括理论研究和应用研究两部分。理论研究着眼于自然图像统计规律稀疏建模理论，构建统一的自然图像统计建模和稀疏表示理论及计算方法，并作为项目应用研究的基础。应用研究结合视知觉机理及视觉计算模型，重点研究基于自然图像模型的图像和视频增强和压缩技术，在图像增强部分主要研究图像超分辨率、去噪和3D视点合成；在图像的视频编码部分重点研究图像稀疏重构、3D视频编码和基于插值的视频编码。本课题组完成了预定的计划任务，实现了预期的研究目标。共发表国际期刊论文20篇，3篇论文发表在图像处理的顶级期刊IEEE Trans on Image Processing；5篇论文发表在视频编码的顶级期刊IEEE Trans on CSVT；1篇论文发表在多媒体方面的顶级期刊IEEE Trans on MM；1篇论文发表在IEEE Journal of Selected Topics in Signal Processing关于HEVC新一代视频编码标准专辑。另外10篇论文发表在Signal Processing、Signal Processing: Image Communication和Multimedia Tools and Applications等国际期刊。发表会议论文33篇，其中7篇论文全文发表在数据压缩的顶级会议IEEE DCC上；其他26篇论文也发表在本领域的主流国际会议上，其中，11篇论文发表在IEEE ICIP, 2篇论文发表在IEEE ICME, 9篇论文发表在IEEE VCIP, 3篇论文发表在IEEE ISCAS；1篇论文发表在PCS。获得国家发明专利3项，申请国家发明专利5项。