面向视频的一致稀疏哈希特征学习

Large scale video feature extraction has been an important part for the research on big data. However, directly apply the existing hash learning method to video feature extraction will not only lead to ineffective feature representation due to the losses of features during the quantization procedure, but also appear to be significantly worse situation for the representation ability under multi-view environment. To this end, this project proposes an idea of hash approximation for sparse component to develop moving object extraction technique based on optimal hash coding theory and method, so as to directly acquire the binary foreground image during the optimization procedure. Based on this, to enhance the effectiveness of video feature extraction, this project proposes an idea of multi-layer shared hash feature learning to develop jointly sparse and hash shared feature extraction theory and method, so that the segments of hash code are able to reflect different characteristics of the target. To further strengthen robust representation of shared feature under multi-view environment, this project proposes an idea of optimal affine hash coding and learning to develop multi-view hash feature extraction theory and method to guarantee that the same targets with different views trend to have an identical hash representation. The research of this project will continue to enrich and develop sparse and hash feature extraction theory, aim at solving the problems of quantization loss of moving information and robust target coding and recognition under multi-view environment for video big data. The deliverables of this project will provide big data video analysis with theoretical and technical foundations, and can be furthered applied to the related fields of large scale video retrieval problem.

大规模视频特征提取是大数据研究的重要内容。然而直接把现有哈希学习方法用于视频特征提取不仅会因特征量化过程信息的损失导致特征难以有效表达，而且会在多视角环境下出现表达能力显著变差的情况。故本项目提出稀疏成分哈希逼近思想来发展运动目标提取的最优哈希编码理论与方法，从而在优化过程直接获得前景二值图像；在此基础上，为提高视频特征抽取的有效性，拟提出多层次共享哈希特征学习思想来发展一致稀疏哈希共享特征提取理论与方法，使不同哈希编码段反映目标的不同特性；为进一步拓展共享特征在多视角情况下的鲁棒表达，拟提出最优仿射哈希编码学习思想来发展多视角哈希特征提取理论与方法，从而使不同视角的对象拥有唯一哈希表示。本项目的研究将不断丰富和发展稀疏哈希特征提取理论，力图解决视频大数据中运动信息量化损失及多视角鲁棒目标编码与识别问题。研究成果将为大数据智能视频分析提供理论与技术基础，并可拓展应用于大规模视频检索等领域。

当前图像、视频等大规模数据存在信息冗余度较高，受光照和噪声影响较大等问题。现有方法缺乏完善的理论体系，不能够有效从图像、视频数据提取出鲁棒的特征并进行有效表示，因此非常有必要对图像、视频特征提取方法展开深入研究。现总结问题如下：.(1).现有稀疏或哈希学习方法仅从局部结构出发构建特征学习模型，没有把连续图像或多视角的特征学习考虑进去，因此直接导致现有方法在降维与判别能力上达不到很好的效果。.(2).稀疏哈希学习理论当前处于研究初期，相关理论与方法框架有待进一步完善，特别是最优哈希编码的运动目标提取、一致稀疏哈希特征提取、多视角稀疏哈希特征提取这些理论目前在国内外文献上鲜有相关报道。.综上所述，本项目结合连续图像的关键信息提出稀疏成分哈希逼近的策略来学习最优的运动前景二值编码，发展最优哈希编码的运动目标提取理论与方法。为了提取图像、视频中具有强判别性的特征，本项目在多个层面上进行稀疏哈希学习，实现最优稀疏哈希特征的提取，发展一致稀疏哈希特征提取理论与方法。为解决在多视角情况下目标的特征学习问题，本项目进一步提出鲁棒的联合稀疏哈希学习思想，构建多视角稀疏哈希特征提取框架，以解决图像、视频中出现多视角等复杂情况的目标识别问题。本项目可以在视频分析环境下建立最优哈希特征学习理论，力图解决现有方法存在的特征量化损失、缺乏有效表达以及对多视角数据缺乏鲁棒性等问题，为大规模智能视频处理及应用提供可靠的理论与技术基础。..本项目达到了以下目标：.（1）发展一致稀疏哈希学习理论与方法，建立完善的最优哈希编码运动目标提取算法框架及一致稀疏哈希特征提取、多视角稀疏哈希特征提取算法框架，进一步提高稀疏哈希学习方法的判别能力及鲁棒性。.（2）在项目期间发表学术论文16篇，其中SCI论文13篇，会议论文3篇，在Pattern Recognition, IEEE Transactions on Circuits and System for Video Technology, Knowledge-Based Systems等国际知名期刊发表论文5篇，参与国际会议交流3人次。.（3）培养研究生3名。