基于深度学习的大规模网络视频拷贝检测方法

Video copy detection techniques can be deployed in many practical applications, e.g., intelligent content analysis, copyright protection and optimization of search result. Many video copies have severe content transformations like lighting and scale changes, occlusion, etc. Existing techniques are limited in both accuracy and speed in addressing efficient matching of the transformed video copies. This project focuses the following five aspects around the challenging problem of large-scale video copy detection: (1) creating a realistic video copy detection dataset; (2) deep learning of features suitable for copy detection; (3) multiple feature fusion using neural networks; (4) hashing based fast indexing; (5) temporal matching. Among these aspects, dataset construction serves as the basis for algorithm design and evaluation. Feature learning, fusion and temporal matching are designed to address the limitation on matching accuracy, while hashing is used to improve the matching speed. The proposed solution is built upon recent advances in deep learning research, and we propose new feature learning methods for the copy detection problem. The proposed new methods will be published in well-known journals and conferences in the field. We will also develop a demo system to promote our research outcomes.

视频内容的自动拷贝检测可以应用于网络内容监控监管、版权保护、检索结果优化等很多实际问题。面对拷贝视频间复杂的内容变换（如光照、尺度、遮挡等），现有技术在精度、速度方面均不足以应对实际需求。围绕大规模视频拷贝检测问题，本项目拟开展以下五个方面的研究：（1）真实拷贝视频数据集的建立；（2）深度特征学习；（3）基于神经网络的多特征融合技术；（4）哈希索引技术；（5）基于视频时间序列的匹配技术。其中，数据集构建支撑算法研究，深度特征学习、多特征融合和时间序列匹配技术主要解决检测精度问题，而哈希索引技术则专注于提升检测速度。本项目采用了深度学习技术，并针对拷贝检测问题的特点设计了新的局部特征学习方法。成果将发表在知名国际期刊和顶级学术会议上，并通过开发应用系统进行展示和推广。

随着YouTube、优酷、抖音等视频分享网站与应用的兴起，在互联网上用户上传视频呈现爆炸式增长。如何实时监控网络上出现的有害视频内容，例如涉暴、涉黄的内容，营造良好的网络环境，变得十分迫切。研究视频拷贝检测技术就是在海量视频中发现经过“拷贝变换”而产生的视频，这些经拷贝变换后的视频，其语义内容没有被实质性改变，但是数据已经被改变了，传统的基于MD5和SHA1等数据校验算法在拷贝检测时完全失去了作用。当前，视频拷贝变换的手段也越来越多样化，除了视频转码、视频帧的添加及删除、视频主色调及对比度调整、在视频帧中局部区域贴图和叠加弹幕文字等常见拷贝变换操作之外，在深度神经网络模型支撑下，还可能通过变换产生视频画面风格迁移、从二维视频图像重构三维物体等等新型拷贝变换形式，这些变换可能会影响整个视频的数据甚至某些内容（如画面风格改变），也可能会影响视频帧中部分区域中出现的物体。.在本项目中，我们将深度学习方法应用到视频拷贝检测算法研究中，以应对各种可能的拷贝变换。在研究过程中，我们将研究重点放在视频场景表征学习这个基本科学问题上，基本思路是将视频图像帧看成是由很多物体组合构成的具有时空维度的场景，对视频场景中出现物体进行更加精细的语义分析，特别研究了视频中最常见物体（如人脸、行人、文字等）的检测与识别，从而利用精细语义分析结果综合推断最可能的拷贝变换操作。为了更加深入的探索场景中的物体组合构成，我们研究了无监督条件下视觉场景解析等基础性研究问题，为下一步视频拷贝检测研究在视觉场景表征方面进行积极探索。.在项目资助下，我们在视频场景表征学习、常见物体的检测与识别等研究方面提出了一系列创新的算法模型，较好完成了研究任务，取得了不错的研究成果，共发表了学术论文21篇，其中包括IEEE TPAMI长文2篇及IEEE TMM长文2篇，中国计算机学会（CCF）推荐A区会议长文11篇（即CVPR 2篇、 ICCV 1篇、 IJCAI 2篇、 ICML 1篇、 AAAI 2篇、 ACM MM 3篇），部分论文得到了在较短时间内就实现了较多引用。据谷歌学术搜索统计，发表论文的总引用为950余次。申请发明专利5项。1位博士生（沈志强）获得中国图像图形学学会2019年优秀博士学位论文奖。1篇国际会议论文获ICME 2017优秀论文奖（Platinum Best Paper）。