基于生理信号的音乐推荐系统研究

Most of existing MIR systems rely on users’ explicit input or implicit feedback as criteria for music selection, which is limited to users’ intentional interactions with the systems. In the age of immersive experience and “Internet of Things”, novel information systems that can be controlled by and work with users’ cognition become a future trend. Studies have found that emotions are strongly related to physiological signals such as heart rate, blood volume pressure, skin conductance, skin temperature, and physiological responses are inseparable from music-listening experiences. It is thus highly promising to integrate physiological measures in next generation emotion-based music recommender systems for real-time interactions with users in naturalistic settings. Using machine learning and user-centered evaluation methods, this project aims to exploit the technical advancements in MIR and physiological computing to develop next-generation music recommender systems using physiological signals. Findings will enhance our understanding of the interactions between music, emotion and physiological measures, which will help expand theories on emotion-based music information retrieval. In addition, results of this project will provide important evidence on the effectiveness of incorporating physiological signals in music services. This can potentially inspire next generation MIR systems exploiting physiological computing.

现有的音乐信息检索系统大部分是以用户明确的输入或者隐性的反馈作为指标来选择音乐，这使用户与系统的交互受到一定限制。在追求沉浸式体验的物联网时代，能够与人类认知进行交互并支持智能控制已成为未来信息系统的发展趋势。生理信号，诸如心率、皮肤电反应、皮温等，和人类的情绪有强关联，同时生理反应与音乐体验也有不可分割的联系。因此，将生理信号应用到下一代基于情绪的实时交互音乐推荐系统具有广阔的前景。本项目旨在将音乐信息检索和生理计算领域的最新研究成果相结合，利用机器学习和以用户为中心的研究方法，探索开发新一代基于生理信号的音乐推荐系统。本研究将深入揭示音乐、情绪和生理信号三者之间的关系，拓展基于情绪的音乐信息检索的相关理论。同时，本项目也将通过实证研究检验将生理信号运用于音乐服务的有效性，为生理计算和音乐信息检索的跨学科研究奠定重要基础。

本项目旨在突破既有音乐检索系统在用户交互方面的瓶颈，将音乐检索与生理计算相结合，利用机器学习和以用户为中心的研究方法，探索用户需求，研究音乐、情绪和生理信号三者之间的关系，设计并评估基于生理信号的个性化音乐推荐系统，探讨用移动平台和可穿戴设备实现日常应用场景下任何时间、地点的个性化音乐推荐。. .在用户需求方面，本项目研究了国内在线音乐用户对音乐情绪的感知，对移动音乐用户端的使用，以及大学生日常对音乐的需求，填补了既有领域对东方文化背景的用户研究的不足，并为设计适合东方人群使用的音乐检索系统提供建议。为探讨情绪、音乐和生理信号三者之间的关系，我们在实验室中进行了两轮受控实验，当用户检索、聆听各类音乐时，借助可穿戴设备收集其生理信号。通过统计和机器学习的方法发现，从生理信号中抽取的特定特征与音乐激发的情绪有显著关联，并且受个性特征影响。本项目的成果引领了将生理计算与音乐信息检索相结合的研究，为音乐情绪识别等相关课题的后续研究奠定了重要基础。此外，本项目还建立了音乐检索任务中对生理信号进行预处理和特征抽取的工作流程，并对加入生理信号的音乐分类、推荐算法进行评估和比较，结果显示生理信号促进了音乐推荐以及基于情绪的音乐分类模型的效果。同时，用户的性格、音乐偏好等个性特征和情景也是应考虑的重要因素。最后，本项目突破了传统的实验室场景下的限制，所研发的移动平台实现了自然场景下的用户实验和纵向研究，在方法论上为相关研究领域作出重要贡献。目前已进行的两轮用户实验揭示了自然场景下音乐、情绪、认知等的关系。. .本项目拓展了基于情绪的音乐检索的相关理论和方法，通过实证研究将可穿戴计算、用户需求研究、音乐推荐和分类、以及以用户为中心的系统评估相结合，并专注于国内具有典型东方文化背景的用户群体，为个性化音乐推荐、基于情绪的音乐检索、理解跨文化的音乐需求、以及将生理信号运用于音乐服务等跨学科研究奠定了重要基础。