空间感知无失真最优声场恢复理论与技术研究

Three-dimensional(3d) audio reproduction techniques reproduce realistic sound sources and spatial perception for listeners. 3D sound technology has been attracted wide attention by researchers all over the word since mpeg recruited the international 3d audio standard. To accelerate the 3D film and television development, the ministry of culture, ministry of industry and information technology and ministry of science and technology attach great importance to 3D research. The well-researched 3D audio theory aims to precisely reconstruct sound waves. However, huge computational resources are required since there are lots of loudspeakers in 3D sound system. This project focuses on the relationship between sound wave error and human spatial perception. We build a model to demonstrate the relationship and then propose a model to reconstruct sound field with unnoticeable perception distortion. The self-adaptation sound field reconstruction method is also developed for different loudspeaker arrangments in different home environments. The proposed models can be widely applicable to various loudspeaker configurations and provide realistic 3D sound perception for listeners.

MPEG启动3D音频标准化进程吸引了3D音频技术领域研究者的广泛关注，3D影视产业近五年得到飞速发展,文化产业部和工信部均十分重视并支持国内3D的发展。主流的声场重建技术以精确重建声场为目标，由于3D音频系统扬声器数量较多，声场精确重建时计算量大，对扬声器数量、扬声器排布方式等均有严格的要求，难以广泛应用。针对此问题，本项目研究听音点处声场误差与空间感知之间的关系，建立方向和距离感知阈值与误差之间的关系模型，研究距方向感知和离感知无失真的声场最优恢复技术，在方向和距离感知阈值以内对应的声场误差阈值以内，建立最优化声场恢复模型；研究具有扬声器数量与配置自适应的最优声场恢复理论，针对任意位置的声源，计算听音点处的理想声压，对给定数量和给定配置的扬声器系统，根据声源位置确定合适的扬声器组，建立感知无失真的最优声场重建模型，满足用户逼真的3D听觉体验，推动3D影视产业的发展。

MPEG启动3D音频标准化进程吸引了3D音频技术领域研究者的广泛关注。3D影视与3D音频结合，可以创造出真实空间中的三维虚拟现实效果，给用户带来了逼真的视听体验。然而，3D音频的发展远远落后于3D视频，用户对声音回放系统中的虚拟声像的3D位置感知与3D视觉感知不致，无法为用户提供身临其境般的享受。本项目研究3D音频系统距离信息恢复理论与技术、任意扬声器布置下的3D音频恢复技术，以及音频声场重建的高效计算方法，提升听音者对声源3D空间的感知，推进3D音频技术的普及。. 结合物理声学和机器学习算法，提出了声源距离恢复模型、三维音频信号编码方法、三维声场优化技术以及非球面环境下的三维音频信号重建技术等一系列模型和技术，研究并给出了精简扬声器阵列中精确恢复3D声音信号所需扬声器组的最小数量边界，在满足或者不满足最小数量要求的情况下，分别给出了精确恢复和最优恢复两种技术以适应不同的回放环境。在人体听觉感知的基础上，提出结合距离边信息和非均匀感知编码的3D音频编码技术，码率下降了8％同时距离恢复效果提升5.7%~8.8%。提出可将实际听音环境中任何一点恢复为最佳听音点的3D感知，破除了扬声器阵列的严格要求和最佳听音点限制等障碍，为用户提供更加灵活、更加实用的3D音频技术。本项目提出的算法对扬声器配置没有要求，仅需知道每个扬声器与听音点之间的距离以及声源信号的特征即可完成信号的分配，而与扬声器阵列的形状无关，可以广泛的适用于各类环境，包括但不限于影剧院环境、普通办公环境 、家庭环境，甚至车内回放环境等等，具有良好的普适性。. 在本项目的支持下，发表权威期刊论文11篇，其中CCF列表的SCI期刊论文7篇、CCF B类会议论文3篇、中文核心期刊论文1篇，申请技术发明专利7项，其中授权4项，培养博士2名、硕士3名，实现了原计划中的学术论文撰写、实验分析、专利申请、人才培养等各项目标。