融合稀疏层次模型的内容辨识研究

Nowadays, the media content industry faces two issues. One is that multimedia editing tools and content sharing websites endanger media content with high risks of unauthorized distribution. The other is that users wish to interact on portable devices with the content being consumed. Therefore, how to accurately and efficiently identify media content becomes an urgent problem. Existing content fingerprinting methods mainly handcraft certain features to generate content fingerprints from the perspective of signal processing. But the improvement of the performance of content fingerprinting is bottlenecked and theoretical breakthrough is in urgent need. Fortunately, inspired by the research development of cognitive science and computational neuroscience, and based on the theory of sparse cognitive learning, this project will explore the biologically feasible sparse feature learning mechanism so as to theoretically support content fingerprint learning. Specifically, deep learning will be integrated into the sparse hierarchical model to learn scale invariant sparse features for content identification. Then, a discriminant item for uniqueness of content fingerprints will be introduced and the supervised learning from sparse features to binary fingerprints will be studied and evaluated. The expected research results will serve as empirical verification of sparse cognitive learning theory, and will simultaneously be applied in infringement tracing on the Internet, broadcast monitoring and interaction among multi screens.

当前，媒体内容产业面临两方面的问题，一是多媒体编辑工具与内容分享网站使媒体内容面临极高的非授权分发风险；二是用户希望在便携终端设备上与正在消费的媒体内容互动。因此，如何准确、高效辨识媒体内容成为亟待解决的问题。现有内容指纹方法主要从信号处理角度手工设计特征来生成内容指纹，且在性能提升上遇到了瓶颈，亟需理论突破。受启发于认知科学与计算神经科学领域的研究进展，本项目拟以稀疏认知学习理论为基础，探究具有生物可行性的稀疏特征学习机理，以期为内容指纹的自动学习提供理论支持。本项目拟从稀疏层次模型出发，研究面向内容辨识的尺度不变稀疏特征深度学习机制；其次，在独特性约束下，研究稀疏特征到二进制指纹编码的有监督学习方法并评测其性能。本项目的研究成果将为稀疏认知学习理论提供实验验证，并可广泛应用于网络侵权追踪、广播监管和多屏互动等领域。

1）项目的背景：当前，媒体内容产业面临两方面的问题，一是多媒体编辑工具与内容分享网站使媒体内容面临极高的非授权分发风险；二是用户希望在便携终端设备上与正在消费的媒体内容互动。因此，如何准确、高效辨识媒体内容成为亟待解决的问题。现有内容指纹方法主要从信号处理角度手工设计特征来生成内容指纹，且在性能提升上遇到了瓶颈，亟需理论突破。..2）主要研究内容：研究稀疏层次网络与深度学习的结合机制，构建深度稀疏层次模型，并研究如何在该模型上开展尺度不变稀疏特征的有效学习；研究如何将深度哈希模型用于稀疏特征到二进制编码的转换，并研究如何在该模型中引入独特性约束，进而开展有监督学习，获得同时满足鲁棒性、独特性与紧凑性的内容指纹；研究如何从鲁棒性、独特性和紧凑性三个维度对内容指纹性能度量进行建模，同时将构建相应的大规模性能评测基准数据集。..3）重要结果：提出了基于内容指纹的多媒体内容组件权属识别与通知方法，能够更好保护多媒体内容所有者的利益，该研究成果被多媒体信息处理与检索国际会议接收，核心技术被IEEE 1857国际标准和AVS国家标准采纳。提出了用于大规模多标签图像分类的深度行列式点过程方法，支持端到端的多标签学习和深度表示学习，该成果发表于计算机视觉国际会议。提出了基于纹理方向自适应表示的多方向稀疏字典与局部相关性约束的稀疏重建模型，丰富了现有图像视频信号的稀疏表示理论方法，该研究成果发表于视觉通信与图像处理国际会议。..4）关键数据：构建了大规模性能评测基准数据集，包括10万图片，长度3分钟的视频、音频各1万段，视频、音频总时长均达到400小时。..5）科学意义：本项目的研究成果将为稀疏认知学习理论提供实验验证，为媒体内容版权保护、侵权追踪、广播监管、多屏互动与关联推介等重要应用提供理论与技术支撑。