多模态中文歌曲情感识别技术研究

音乐情感识别技术是互联网音乐检索系统的重要支撑技术之一。目前的音乐情感识别方法多是单模态的，而且识别效果还远不能满足实用要求。多模态音乐情感识别方法利用音乐固有的多模态性，具有多数据源特征互补、可筛选特征多、对情感模型适应性强等特点，有望显著提高识别率。本项目在研究基于音频数据、MIDI数据和歌词文本数据的单模态情感识别方法的同时，探索解决多数据源集成的多模态中文歌曲情感识别问题。本项目争取在学术上有所突破，同时，研究成果将应用于构建互联网音乐检索系统。

本项目的研究目的是构建计算模型，根据歌曲的音频、歌词和MIDI多模态数据等，自动识别歌曲的情感。..1、.基准数据集.收集整理了2002首样本中文歌曲（来自1462个专辑、871位歌手），包括音频、歌词和MIDI数据。人工标注了歌曲的PAD情感值，并校对了艺术家名、歌曲名和词曲作者名。..2、.研究成果.1).探索了基于播放列表文字标签的歌曲情感识别。该方法对激活度分类效果比歌词要好，愉悦度分类效果比歌词稍差。对愉悦度分类，融合标签和歌词有显著的互补作用。.2).提出了基于CQ（Constant-Q）声谱符号化表示的音乐情感识别方法。情感回归和分类实验表明，该方法在回归和分类效果上优于直接提取音频特征的方法。.3).提出一种基于CCRF的动态音乐情感识别方法，融合基于多时长局部信号的预测结果，并对多时刻情感关系建模。在MediaEval2014国际评测中取得较好结果。.4).提出了反映音乐进行的音频特征提取方法。实验表明，音乐进行特征对短时特征的简单统计特征有明显的互补作用。在MediaEval2015国际评测中也取得较好结果。.5).提出了MIDI歌曲情感分类和回归方法。实验表明，对愉悦度回归，MIDI效果优于音频，转换MIDI效果优于编辑MIDI，且旋律比伴奏效果好。但对激活度回归来说，伴奏比旋律效果好。另外，用编辑MIDI对愉悦度回归，仅用副歌部分，效果与用全曲相当。.6).比较研究单模态和多模态特征融合情感回归。涉及音频、歌词和MIDI，采用Adaboost多模态融合。实验表明，歌词对P值回归效果明显优于音频和MIDI，而音频和MIDI对A值和D值回归贡献大。多模态特征融合情感回归效果明显优于单模态，说明多模态特征有互补性。.7).提出了融合歌词和音频的歌曲愉悦度回归方法。我们研究发现歌词对愉悦度识别效果好，故用歌词训练愉悦度正负分类器，再用歌词和音频特征融合来分别训练正和负愉悦度回归器，得到一个愉悦度回归的两层模型。实验表明，与基于歌词和音频特征融合的单层回归器相比，此两层回归模型能有效克服愉悦度极性错误，回归效果显著提升。.8).研究歌曲的不同部分对情感识别的作用。基于歌词自动划分歌曲的结构单元。用不同结构单元的歌词和音频特征进行情感分类器学习。实验结果表明，主歌部分对愉悦度回归效果好，而副歌对激活度回归效果好。.9).开发了一个音乐情感识别原型系统。