钢琴教学中智能辅助技术研究

Tutoring and practicing piano is a classic personalized teaching scene, which relies on the face-to-face diagnosis and feedback. To achieve computer-assisted piano tutoring and practicing, we must solve three problems: ①accurate music signal analysis, ②clear tutoring knowledge system, ③automatic objective evaluation. Therefore, we have translated these 3 requirements into 3 specific scientific questions: ①score-informed piano music transcription algorithm research, ②score-informed piano performance technical difficulty model research, ③facing-learners automatic performance evaluation technology research. And around these results, building self-adaptive intelligent assisting teaching system, using artificial intelligence technology for the amateur piano education industry services.

钢琴教学和练习是一个经典的个性化教学场景，它依赖教师和学生面对面的诊断和反馈。要实现计算机辅助钢琴教学与练习必须解决好三个问题：①准确的音乐信号分析、②明确的教学知识体系、③自动的客观评价。因此，我们将这3个需求转化为3个具体的科学问题：①乐谱已知的钢琴音乐转录算法研究，②基于乐谱的钢琴演奏技术难度模型研究，③面向学习者的自动演奏评价技术研究，并围绕这些科学问题的研究成果，构建自适应智能辅助教学系统，运用人工智能技术为业余钢琴教育行业服务。

项目围绕钢琴教与学场景中依托的智能辅助技术展开研究。该研究的核心是解决计算机听懂钢琴演奏的问题，即能够准确地对演奏的过程进行转录，并结合乐谱对演奏行为进行客观评价。在项目研究过程中，基于深度学习的钢琴音乐转录算法研究兴起并成为主流，本项目也在这个大的背景下，先后提出了基于公共起始点感知、触键事件感知的起始点检测思路，有效地提升了钢琴音乐转录的精度。另外，有效发展了融合音频与视频的多模态钢琴转录研究，建立并公开了目前规模最大的多模态钢琴转录数据集OMAPS和OMAPS2，在该数据集上进一步讨论了手指图像区域、整体图像以及手指骨架关键点等多种与音频融合的思路，给出了详细的比较结果，为高精度的钢琴音乐转录与评价打下了良好的基础。