基于深度学习的音频取证技术研究

The audio processing technology significantly facilitates the audio tampering and forgery. Therefore, in recent years, digital audio forensics has become one of the important research areas in multimedia information security. At present, the digital audio forensics technology has not yet been widely used. One of the important reasons is that in the actual audio forensics, there are some extreme cases and complex conditions (such as the need to deal with the recording that is very short or even length of frame level, and under a variety of complex recording environment). In these cases, the conventional forensics technology using artificial feature extraction would achieve unsatisfactory detection effect. Therefore, in this research project, we will explore the ability of deep learning technology in audio forensics, and focus on the following problems: (1) research on the model transformation for copy detection problem of ultra-short recording. (2) research on the deep learning architecture that could extract complex acoustic features for distinguish between natural audio and recaptured audio. (3) explore and propose an new architecture of evolutionary deep network combined with the idea of genetic algorithm to model the weak differences of multiple compressed audio. This research project will try to provide new detection ideas for audio forensics, and also provide forensic methods and tools for judicial departments.

音频处理技术的成熟使音频篡改和伪造具有很强的可操作性。因此，近几年来数字音频取证也成为多媒体信息安全的重要研究方向之一。目前，数字音频的取证技术尚未能大规模地应用。其中的一个重要原因是：实际中的音频取证，存在一些极端情况和复杂条件（例如需要处理极短的甚至是“帧级别” 长度的录音，以及针对各种复杂录音环境）。在这些情况下，使用人工提取特征的常规取证技术，检测效果不太理想。因此，在本课题中，我们将探索深度学习技术在解决取证问题上的能力，致力于解决如下问题：(1)探索模型转化用于“帧级别”的超短录音拷贝复制检测问题；(2)研究适用于提取复杂声学统计特征的深度学习架构，用于提取自然语音与翻录语音的统计特征；(3)结合遗传算法的思想，提出进化型深度学习的新架构，用于建模多重压缩音频中的微弱区别。通过本项目的研究，可为音频取证提供新的检测思路，为司法部门在取证环节中提供有效的检测方法和工具。

本项目课题是基于深度学习的音频取证研究，在项目开展过程中，我们主要研究堆叠的自编码器网络（SAE network）以及卷积神经网络（CNN）这两类网络应用于取证及检测问题的方法。本项目进行了如下几项研究工作：第一个研究工作提出了一种AMR格式录音的重压缩检测方法，它使用SAE网络在帧级别上进行特征提取，可有效鉴定AMR录音是否为重压缩音频。第二个研究工作提出了一种音频能量差分特征，它可以有效表征手机录音设备的频率响应特性，可以对录音设备进行识别分类，进一步工作使用SAE网络对特征进行优化，可有效对录音的来源设备进行鉴定。第三个研究工作提出了一种基于DCT的鲁棒的可恢复水印，它可以用于认证数字录音是否被修改，还可以重建被攻击信号。第四个研究工作是音频后处理检测工作。该工作提出了一种检测基于CNN的音频后处理操作检测方法，可以鉴定音频是否经受后处理，检测受到何种操作。第五个研究工作提出了一种基于改进型卷积神经网络（CNN）的隐写检测方法，在CNN上加入全局协方差池化层，使得它具有快速有效的特点。第六个研究工作提出检测一个音频波形是否经过压缩的方法，在本方法中，重点考虑了多次压缩的音频，也考虑多种压缩格式等复杂的情况。.在大部分研究问题中，检测正确率可以达到95%以上，在大规模数据中也能做到90%的检测率。通过本项目的研究，我们发现堆叠自编码器网络适用于在帧级别进行特征提取，如果结合集成学习的方案，可以达到较优的检测性能。项目仍在进行中的部分研究工作还显示，在音频频谱上使用CNN网络也可以在不少录音检测类的问题上达到很好的性能。研究结果显示，在复杂环境下，深度学习技术依然可以从录音中正确对不同的问题进行建模，显示了深度学习对复杂问题建模性能的优越性。