面向虚拟听觉的个性化头相关传输函数快速自适应研究

Virtual reality technology has an important strategic position in the information field. Nowadays, virtual visual technology has achieved considerable progress. In the meanwhile, virtual auditory technology relatively falls behind in both research and industry. One important reason is that it is quite challenging to acquire the individualized Head-Related Transfer Function (HRTF) fast and efficiently. The majority of technologies approach the measured HRTF in point of the signal itself. However, when considering the auditory localization perception, it is quite redundant to process the full space and frequency band. Motivated by this, this project aims to quickly and adaptively obtain the individualized HRTF, and bulid a completely auditory perception difference model, and thus provide the foundation for immersive three-dimension sound field. Firstly, through the experiments of auditory perception, we build the auditory perception difference model throughout the time-space-frequency domains. Then, based on this model, we make a finer-grained analysis for the localization cues, and extract the locally key anthropometric features using mapping methods. Finally, we explore the non-linear adaptive algorithms for individualizing HRTF. The project will achieve the fast adaptation from the non-individualized HRTF to the individualized HRTF from the localization perception’s point of view. It will contribute to the naturalness and localization accuracy of 3D sound. Moreover, it has great significance to furthering scientific research of auditory cognition and 3D sound field reconstruction, and provides the theory and practice foundation to promote the industries such as virtual auditory and well as virtual reality.

虚拟现实技术在信息领域中占有重要战略地位。目前，虚拟视觉技术已取得了较大进展，然而虚拟听觉技术在研究和应用上相对落后，其中一个重要原因在于快速有效地获取个性化头相关传输函数较为困难。这是因为大多技术从信号角度尽可能接近测量值，然而从听觉定位感知角度来看，对全空间和频带进行近似较为冗余。本项目以快速自适应获取个性化头相关传输函数为研究目标，建立完善的听觉感知差异模型，为生成具有沉浸感的三维声场提供基础。首先通过听觉感知实验，在时-空-频域构建听觉定位感知差异模型，继而，基于模型在更细粒度上分析定位因素，并通过多种映射方法提取局部关键人体特征，最终探索非线性快速自适应方法。本项目将从定位感知角度实现从通用到个性化的头相关传输函数的快速自适应生成，有助于提高三维声音的自然度与定位精度，对促进听觉认知和三维声场生成的研究具有重要的科学意义，为虚拟听觉、虚拟现实等产业的推进提供理论和实践基础。

虚拟现实技术在信息领域中占有重要战略地位。目前，虚拟视觉技术已取得了较大进展，然而虚拟听觉技术在研究和应用上相对落后，其中一个重要原因在于快速有效地获取个性化头相关传输函数 (HRTF) 较为困难。本项目以快速自适应获取HRTF为研究目标，为生成具有沉浸感的三维声场提供基础。首先，针对传统采用球谐函数进行球面HRTF的连续插值产生的对数谱失真问题，提出三维空间HRTF插值算法，方向相关的特征采用球谐函数生成，距离相关的特征采用标准球贝塞尔函数生成，使得三维空间的HRTF重建性能更优。然而，由于HRTF是三维空间的非线性复杂函数，线性建模难以在建模性能上达到最优，为此我们提出了一种基于Bottleneck神经网络的领域知识辅助的HRTF的非线性建模方法，提高了模型准确度，为动态场景的虚拟听觉绘制提供基础。基于三维空间的HRTF重建算法，提出了基于权重映射的个性化HRTF建模方法，在普通最小二乘准则的基础上增加L1正则项，并进行非负约束进行权重计算，在生理参数模型权重与HRTF模型权重之间建立映射关系，提出的算法能显著降低前后混淆和上下混淆率，这说明提出的算法生成的个性化HRTF更符合个人的空间感知，得到更优的定位性能。另外，针对个性化HRTF数据库存在的低资源问题，提出一种基于参数迁移学习低资源HRTF个性化方法。最后，基于HTC VIVE搭建了实时三维听觉平台，并通过采用采用合成与回放全双工、时域交叠及在线优化等方法，解决了系统实时性问题。经过多名测试人员的测试，搭建的三维听觉平台能够实现实时是空间音频生成，有着流畅的听觉体验。本项目的成果提高了三维声音的自然度与定位精度，对促进听觉认知和三维声场生成的研究具有重要的科学意义，为虚拟听觉、虚拟现实等产业的推进提供理论和实践基础。