压缩深度卷积神经网络及其在目标检测与图像取证中的应用研究

Object Detection based on deep learning is mostly implemented on cloud-based platform, it is typically assumed that training and processing is performed on the server and results are returned to the front-end. However, due to the delays and interruptions of network transmission, it is difficult to meet the demands of real-time object detection. This project aims to develop a technique to resolve the conflicts between the increasing model sizes of deep learning algorithm and the limited computing power and memory capacity on the front-end (embedded devices and mobile devices), and then applies the technique on object detection and image forensics. In the field of technology, we propose a compressing deep convolutional neural network to solve the storage and speed problem of traditional network by analyzing on the redundancy of parameters and connections, low-rank approximation of filter banks, efficient network connection, projection with structured matrices and hashing trick. Based on this, the project researches on effective object proposals, feature extraction and classification algorithms to achieve real-time object detection, as well as futher analyzes the consistency of statistical features of image object combined with the boundary effects of object edges for image forensics. The achievements in this project can provide rigorous theoretical support for front-end to deploy deep learning algorithm, and have important application values.

基于深度学习的目标检测大多都是基于云平台，通常训练和数据处理在服务器端，将处理的结果返回前端。由于受到网络传输延迟和中断等因素的制约，这类云端系统难以满足实时目标检测应用的要求。本课题以目标检测与图像语义对象篡改检测为应用背景，旨在解决深度卷积神经网络不断增加的模型大小与前端（嵌入式设备和移动设备）有限的存储和计算能力之间的矛盾。在技术上，通过分析深度卷积神经网络中的参数和连接冗余，研究滤波器低秩表示、有效网络连接、结构矩阵投影和hashing方法，从而构造一种压缩深度卷积神经网络来解决传统深度卷积神经网络的存储与计算问题。在此基础上，通过研究有效目标候选区域生成、目标检测的特征提取和分类算法，实现实时目标检测，并通过进一步分析图像目标区域统计特征的一致性和目标对象边缘区域的边界效应，检测与定位篡改区域。本研究成果将为深度学习迁移到前端提供重要的理论支持，同时具有重要的应用价值。

相同语义的目标在不同场景中可以表现出不同的形状、颜色、尺寸、亮度等，同时还存在旋转、仿射、遮挡、甚至变形等情况。提高目标检测的性能，仍是计算机视觉系统面临的挑战性问题，在研期间，我们围绕课题任务中基于深度神经网络的目标检测与图像取证等任务进行了深入研究，开发了有针对性的算法，取得了相应的研究进展和技术突破。.①围绕显著性目标检测开展了深入的研究，提出了一系列的检测算法。.A、提出了一种结合角点信息和能量函数的鲁棒显著性检测算法，提出了新的背景先验和新的增强方法，在三个公开数据库上进行了测试，本算法都有最高的精确度和F-测量值。B、提出一种结合背景先验和标记传播的多层集成的显著性检测算法，在五个数据集上与13种方法进行比较，本方法均取得最好的F-measure；C、提出了一种通过聚合多级显着性线索的新方法，采用高级特征，由提议（object proposal）排序方案引导的初始化显著性图，与现有算法比较，本算法得到好的显著性图。D、提出了一种聚合多层次显著性线索的显著性检测方法，利用超像素的优点，设计了一种基于超像素级的目标边界优化模型，与常见的13种算法比较的，本算法得到更好的显著性图。.②为了识别算法更好地学习视频中人体动作信息，将目标检测的思想应用于动作识别，区域候选网络应用于动作识别算法中,准确检测行人区域，神经网络能够准确地学习人体的动作信息，减弱背景噪声干扰，提出了几个行为识别的算法。A、提出一种结合深度骨骼特征和稀疏编码的动作识别算法，结合深度梯度信息和骨骼关节之间距离提取粗的深度骨骼特征和稀疏编码、最大池化改进粗的深度骨骼特征；在公开的基准数据库上进行测试，本算法要优于其他流行的行为识别算法。B、提出了基于多阶段联合训练双流卷积神经网络的视频动作识别，从视频中的图像有效地获得外观和运动信息，在公开数据集测试，本算法优于目前六种动作识别算法。.③提出了基于相关滤波的抗遮挡目标跟踪算法。.由于遮挡引入的模板污染问题，出现了多个伪峰值点，导致滤波器更新模板时累积了误差，为了解决遮挡问题，提出了一种基于相关滤波的抗遮挡跟踪算法，在公开数据集上进行了测试，本算法的性能更优。.④提出了一种基于视频的跨模态的菜谱检索方法，提出了并行注意力网络独立地学习视频和菜谱的表示，有效地解决视频与文本之间的双向检索，构建了一个全新的数据集，实验结果表明：本算法取得更好性能。