"不可分"二维变换的优化设计及其在视频编码和加密中的应用

It has been a long tradition that a separable 2-D discrete cosine transform (DCT) is always used at the transformation stage in most video coding algorithms. The main reason is to save the implementation cost of the involved 2-D transform. However, many visual contents contained in video frames are not separable (according to any criterion), e.g., an arbitrarily-shaped object, edges/textures that are oriented along a particular direction (non-horizontal and non-vertical), important organs in a human face, depth map in the 3-D representation, etc. In this research project, we will break the "separable" structure and focus on solving two major problems. First, we aim to design optimal "non-separable" 2-D transforms to achieve two goals simultaneously: (i) approaching as closely as possible to the optimal Karhunen-Loève Transform (KLT)'s R-D performance and (ii) maintaining the implementation cost no bigger than that of the separable 2-D DCT. Secondly, we will apply these non-separable 2-D transforms to video coding and encryption so that (1) the achieved R-D coding performance will be improved significantly when compared with the existing ones and (2) the developed video encryption will become more efficient and much safer against any potential attacks as compared to the existing schemes. We anticipate that a number of new techniques/algorithms, all with independent intellectual rights, be developed by the end of this project so that we will be fully prepared for the launch of the next-generation video coding and encryption standard (in a few years).

大多数视频编码算法中, 人们多年来总是用"横向+纵向"的一维离散余旋变换来实现所谓的"可分式"二维变换。这样做的主要原因是从实现二维变换的复杂度出发考虑。但现实中, 很多视频帧包含的视觉内容都是"不可分"的, 比如一个任意形状的物体、非横非纵的边缘/纹理、人脸中的各器官部位、以及三维表示中的深度信息。本研究课题将突破"可分式"框架,围绕如下两个内容进行具有前瞻性的深入研究。首先, 从变换导致的编码效率以及实现的复杂度两方面统一考虑解决一个全新的科学问题 - "不可分"二维变换的最优化设计: 其变换后所获取的（压缩）效率非常接近最佳KLT能取得的效率; 同时, 其实现的复杂度不高于"可分式"二维离散余旋变换所需的复杂度。第二, 广泛应用由此优化设计所得到的"不可分"二维变换到视频编码和加密中:（1）明显提升现有视频编码的效率, 以及（2）开发具有更加安全、有效的视频加密技术。

图像视频编码旨在用尽量少的比特数和低的失真表达相对完整的图像视频内容，是去除数据中冗余的重要手段。现有的图像视频编码方法普遍采用“时空预测+离散余弦变换+量化+熵编码”的混合编码框架。本项目研究内容之一是针对编码框架中的变换部分，通过设计新型变换来达到更高的编码性能。对此，我们首先遵循二维变换“不可分”的特性，根据预测模式设计了不同的二维变换，再结合带限定条件的非线性量化，提出了一种新型的帧内编码方法，提高了编码性能5%以上。其次，通过对图像小块编码中DC分量的估计进一步提高了编码性能。第三，我们还针对快速选择编码模式提出了一种新型的率-失真准则，不仅提高了编码性能，还加快了编码速度。在这部分研究内容上，我们在顶级期刊IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)共发表3篇论文、在相关会议上发表5篇论文。..本项目的第二个研究内容是通过编码实现更可靠的加密以及应用编码（信息）到相关的图像视频处理任务中。对此，我们首先通过对变换实现框架中的“蝶形”结构进行加密调整，从而取得了在不影响编码性能的前提下对视频内容的加密，成果发表在顶级期刊IEEE Transactions on Information Forensics and Security (TIFS)上，到目前Google Scholar引用已超20次。其次，我们还把视频编码过程中生成的有关信息（比如方向信息、运动信息、非零DCT系数的位置信息以及图像小块所耗的比特数等）应用到视频防抖、图像去雨/雪、图像高清重建中，取得了改进的效果。相关成果在顶级期刊IEEE Transactions on Image Processing (TIP)上发表论文3篇、IEEE Transactions on Multimedia (TMM)上发表论文2篇、IEEE TCSVT上发表论文1篇、IEEE Signal Processing Letters上发表论文1篇，在相关会议上发表7篇论文。..本项目还申请发明专利6项，1名博士生毕业、4名硕士生毕业、2名博士生在读、2名硕士生在读。