基于声信号动力学特性的相似性模型研究及在翻唱歌曲检索中的应用

Due to the complex and time-varying nonlinear nature of human vocal system, we study the description and analysis methods of song's recurrence characteristics based on nonlinear dynamics. On this basis, we construct a quantitative similarity measurement of songs and explore its application in a fast cover song retrieval system. We intend to 1）introduce the computable auditory model and study efficient feature extraction algorithm combining music theory and auditory model; 2）to apply computer vision analysis to the music's cochleagram and then propose fingerprinting algorithm that can be used to distinguish between the cover versions and illegal copies; 3）to study the music similarity measurement algorithm based on recurrence analysis of dynamical characteristics of acoustic signal; 4）and finally to propose the parallel implementation scheme for retrieval system based on Graphics Processing Unit (GPU). The expected research achievements of this project provide new ideas, new analysis tools and new feature extraction means for digital song signal processing research. And it can not only be used to solve the application problems existing in large-scale cover song retrieval system, but also be widely used in musical rights' management and music collections's retrieving and organizing.

基于人类发声系统复杂的时变的非线性本质，研究基于非线性动力学的声信号递归特性描述和分析方法，在此基础上构造歌曲的相似性度量算法，并探索其在快速翻唱歌曲检索系统中的应用。1）拟引入人类听觉可计算模型，研究结合乐理和听觉感知模型的高效的特征提取算法；2）拟采用计算机视觉分析的方法对音乐耳蜗图进行分析并提出可对翻唱版本和非法拷贝进行区分的音乐指纹算法；3）拟研究基于声信号动力学特性递归分析的音乐相似性度量算法；4）最后拟提出基于图形处理器的检索系统的并行实现方案。本课题预期的研究成果可为数字音乐信号处理研究提供新的思路、新的分析工具和新的特征提取手段。它不仅可用于解决大规模翻唱歌曲检索的应用难题，还可广泛应用于数字音乐版权管理和海量音乐数据的检索与管理。

本项目从声信号的复杂时变非线性特性出发，研究了结合听觉滤波特性和乐理特性分析的音乐信号表示方法和以此为基础的特征提取算法、研究了基于声信号递归特性分析的相似度计算方法、研究了可对翻唱歌曲和非法拷贝进行区分的音乐指纹算法、研究了检索算法基于GPU的并行实现方案。并在此基础上提出了多种面向音乐检索和翻唱歌曲识别的特征提取算法和相似度度量算法，这些算法均比传统算法取得了更高的识别率。所提出的翻唱歌曲检索模型在2016年举行的第12界国际音乐信息检索评测大赛（Music Information Retrieval Evaluation eXchange, MIREX）的翻唱歌曲检索任务中取得了第一名的成绩，这充分证明了研究成果的先进性。本项目研究所取得的经验和成果为数字音乐信号处理尤其是音乐信息检索技术的研究提供了新的思路、新的方法、和新的手段。它一方面解决大规模翻唱歌曲检索的应用难题，另一方面也为数字音乐版权管理提供了理论支撑。