数字音频被动取证关键技术研究

Aimed to deal with several security issues such as tampering, forgery, data theft faced by digital audio, this project focuses on the key technologies of digital audio forensics, which directly analysis of the digital audio itself to verify the integrity through open-set source recording devices identification and the authenticity through blind tampering detection. The main research contents of this project include: (1) For the feature expressions in open-set source recording devices identification, this project plans to do research work on feature fusion to combine the device features both in speech and non-speech periods;(2) For the modeling problems in open-set source recording devices identification, this project plans to do research work on in-set/out-set device modeling, model optimization and the training method of the best threshold;(3)For detecting the tampering such as inserting, deleting, replacing and splicing in digital audio data, this project plans to do research work on blind tampering detection and tampering points localization. This project considers about the relevance between devices and digital audio, and it uses modern signal processing and machine learning methods to present “recording device fingerprint”, which are for the purpose of further research and application of digital audio forensics technology and new ideas and theoretical basis. This research can be applied in Count Forensics, the protection of intellectual property rights.

项目针对数字音频数据面临的易被篡改、伪造、盗用等安全问题，研究数字音频被动取证关键技术，通过直接分析数字音频信号本身，利用开集录音设备源识别算法对数字音频的原始性进行验证，利用数字音频篡改盲检测和定位算法对数字音频的真实性进行检测。项目主要研究内容包括：（1）针对开集录音设备源识别中设备特征的表达问题，研究语音段与非语音段中设备特征的提取与融合方法；（2）针对开集录音设备源识别中设备模型的训练问题，研究集内、集外设备模型的建模与模型参数优化方法，以及集内、集外设备最优判决阈值的训练方法；（3）针对数字音频中插入、删除、替换和拼接等篡改操作，研究相应的篡改盲检测方法，以及精确的篡改点定位方法。项目从设备信息与数字音频的特有关联性出发，利用现代信号处理和机器学习的手段，研究“录音设备指纹”的表征与建模方法，为数字音频被动取证技术的进一步研究提供新思路和理论依据，该研究成果在司法取证、知识产权保护等领域有广泛的市场化应用前景。

本课题针对数字音频面临的易被篡改、伪造、盗用等安全问题，研究数字音频被动取证关键技术，主要内容包括：（1）针对开集录音设备源识别中设备特征的表达，研究语音段与非语音段中设备特征的提取与融合方法；（2）针对开集录音设备源识中设备建模，研究集内、集外设备模型的建模与模型参数优化方法，以及集内、集外设备最优判决阈值训练方法；（3）针对数字音频中插入、删除、替换和拼接等篡改操作，研究相应的篡改盲检测方法，以及精确的篡改点定位方法。项目执行中，针对设备特征表达，提出了非语音段与语音段融合的录音设备特征提取方法、基于纯净语音参照模型的录音设备特征提取方法。针对集内外设备建模，建立了基于两步判决的开集设备源识别模型，在设备通用背景模型的基础上，分别研究集内、集外录音设备的建模方法，利用机器学习、深度学习方法优化集内外设备模型参数，并通过随机梯度下降学习最优判决阈值。针对篡改检测及篡改定位，研究中基于篡改操作引起的电网频率成分波动的不连续性，首先获取部分篡改操作引入的先验信息，利用深度随机森林构建分类模型实现篡改检测；其次利用生成模型构建非篡改语音模型，通过最优阈值学习的方式实现盲篡改检测；然后通过单高斯和多高斯贝叶斯准则实现篡改点的精确定位；最后针对常见的复制粘贴篡改操作，引入语谱图和SIFT特征，通过音节相似度确认的方式实现复制粘贴篡改区域的定位。该研究从设备信息与数字音频的特有关联性出发，融合现代信号处理、机器学习、深度学习等方法，研究开集录音设备源识别算法对数字音频原始性进行验证，研究数字音频篡改盲检测和定位算法对数字音频真实性进行检测。该研究成果在司法取证、知识产权保护领域有广泛的市场化应用前景。项目执行期间共计发表学术论文15篇，出版学术著作5部，申请发明专利16项，培养博士研究生2人、硕士研究生8人，研发了2个数字音频被动取证系统，完成了本项目规定的各项研究任务。