空间线索感知特性及其应用研究

The rapid development of the 3D film inspired 3D audio technology and product demand, the 3D audio system needs to configure a large speakers, while vast amounts of data is difficult to apply to real-time broadcast and other bandwidth-limited conditions , and it is difficult to provide 3D listening experience with 3D video in practical applications. In response to these problems, this research the key technologies of 3D audio perceptual characteristics: it will explore the exist mechanism of perceptual redundancy on spatial parameters, traditional perceptual characteristics of audio signal will research expanded from the energy field to the parameter field. We designed a new device to collect optional position in order to establish a 3D sound database and proposed a test method to get the perceptual threshold of location cues in whole 3D space, create representation model of perceived thresholds on 3D spatial location cues. It will provides theoretical support for the study 3D encoding and sound field reconstruction based perceptual characteristics. We will propose framework for perceptual coding of spatial parameters by taking the perceptual mechanism of binaural cue and cue position into the parameters coding, it will remove subjective redundancy and reduce the coding rate of spatial parameters. The research of this paper want to be supporting technology for the international standards of 3D audio and work for participation in the international competition and standardization in the field of 3D audio.

3D影视的飞速发展激发了3D音频技术及产品的需求， 而3D音频系统需大量扬声器，同时海量数据难以在实时直播等带宽受限的条件下应用，因此目前还无法提供与视频内容同步的3D空间声效。针对上述问题，本项目研究基于感知的3D音频关键技术：探究空间参数感知冗余存在机理，将音频信号感知特性研究从传统的能量域扩展到参数域，建立双耳线索感知模型；通过独特的实验装置采集3D空间不同位置的测试音源，获取整个3D空间位置线索感知阈值，建立3D空间位置线索感知阈值的表示模型，为基于感知的3D编码与声场重建等研究提供了理论支撑；将3D空间的双耳线索和位置线索感知机理引入到参数的编码中，提出空间参数的感知无失真编码框架，去除参数的感知冗余，降低了编码码率。本课题在基础理论和关键技术方面的研究成果可望成为国际3D音频标准的支撑技术，为全面参与3D音频领域的国际竞争和标准化工作奠定坚实的基础。

3D影视的飞速发展激发了3D音频技术及产品的需求， 而3D音频系统需大量扬声器，同时海量数据难以在实时直播等带宽受限的条件下应用，因此目前还无法提供与视频内容同步的3D空间声效。本项目在国家自然科学基金的资助下，对空间线索的感知特性及其应用进行研究。.本项目研究双耳线索恰可感知差异与双耳线索和频率的关系，探究了空间参数感知冗余存在机理，将音频信号感知特性研究从传统的能量域扩展到参数域，获取双耳线索的感知阈值与频率和双耳线索的关系，建立双耳线索感知模型。分别从音源信号频率和方位两个维度对双耳线索进行细粒度感知实验，使得建立的模型与人的感知机理更为吻合，对于参数的主观冗余去除具有重要的指导意义。.开展三维空间位置线索感知特性分析与建模研究，探究三维空间中位置线索感知机理，通过设计独特的实验装置采集三维空间不同位置的测试音源，建立测试音源数据库，设计自适应的心理学听力测试方法快速获得整个三维空间位置线索感知阈值，在此基础上建立三维空间位置线索感知敏感度的表示模型。通过曲面拟合可获得整个三维空间的位置线索感知阈值，进而利用数学方法表示方位感知敏感度的变化规律，为基于感知的三维编码与声场重建等研究提供了理论支撑。.研究基于感知的三维音频参数化编码方向，利用三维空间的双耳线索和位置线索的感知特性指导空间参数的量化和编码。将三维空间的双耳线索和位置线索感知机理引入到参数的编码中，提出空间参数的感知无失真编码框架，只量化人耳可感知的参数变化量，去除参数的感知冗余。与现有三维音频编码方法（SLQP）相比，在质量相当的情况下，可降低约 20%的参数编码码率，研究成果对于提高三维音频的压缩效率具有重要意义。.本文在基础理论和关键技术方面的研究成果可望成为国内甚至国际三维音频标准的支撑技术，这将增强我国在高速成长的三维音频产业中的核心竞争力，为全面参与三维音频领域的国际竞争和标准化工作奠定坚实的研究基础。