基于关注度的可分级音频编码方法研究

The frequent occurrence of the public safety emergencies makes the demands for security surveillance increasingly urgent, audio surveillance not limited by the surveillance angle, lighting, and hidden block, is an indispensable security surveillance key supporting technology. Monitor network bandwidth fluctuates frequently, which seriously impacts surveillance audio quality. Scalable audio coding is the most effective means to enhance sound quality under bandwidth fluctuations. But the scalable audio coding based on human perception such as energy, signal-mask-ratio etc. doesn't match the characteristics of attention audio such as energy, location rapidly changing in security surveillance, which result the decline in the quality of the attention audio signal when the scalable enhancement layer is abandoned. To solve this problem, the subject is going to research the scalable audio coding methods which are based on mental selective attention mechanism to enhance the quality of the attention audio in security surveillance: 1.For the traditional audio attention model can't present the fast changing of sound source location, we introduce the spatial cues changing to measure the attention level of the rapidly varying of the sound source location, and establish the audio attention model of the security surveillance; 2.According to the principle that the signal distortion is more easily to be detected when a signal is paid more attention, we study the scalable bandwidth coding method based on attention distortion and the scalable SNR coding method based on attention priority. This study has important research value to the exploration of efficient audio compression algorithm based on psychological factors and great significance to improve the subjective sound quality in security surveillance, promote the advancement of audio surveillance technology.

公共安全突发事件频发使我国对安防监控需求日益迫切，音频监控不受角度、光照及遮挡限制，是不可或缺的关键支撑技术。监控网络带宽波动频繁，严重影响监控音频质量。可分级音频编码是带宽波动情况下提升音质的最有效手段，但当前基于能量、信掩比等人耳感知特性的可分级音频编码，与安防监控关注音频能量、方位快速变化等特征不吻合，导致分级增强层被抛弃时关注音频信号质量下降。.针对此问题，本课题研究基于心理选择性关注机制的可分级音频编码方法，提升安防监控关注音频质量：1针对传统关注度模型无法表达音源方位快变的问题，引入空间线索变化度量音源方位快变关注度，建立安防监控音频关注度模型；2依据关注失真更易察觉的原理，研究基于关注度失真的带宽可分级编码方法，和基于关注度优先级的信噪比可分级编码方法。本研究对探索基于心理因素的高效音频压缩编码算法具有重要研究价值，对提高安防监控主观音质，促进音频监控技术进步具有重要意义。

公共安全突发事件频发使我国对安防监控的需求日益迫切，安防产业发展迅速，但传统的仅基于视频监控技术的安防系统已不能满足复杂多变的监控环境，音频监控不受角度、光照及遮挡限制，是安防监控不可或缺的关键支撑技术。但当前音频监控面临挑战：多路采集的音频信号不能像视频监控电视墙同时播放给一个监控人员进行监听，而如果对每一路信号进行人工监听则需要耗费大量的人力，因此，如何在每一路音频流中自动检测出吸引听者关注的感兴趣片段，对于降低音频监控人力成本，提高音频监控可用性就更为迫切和重要。.本项目首先针对当前音频关注度模型对空间声像变化引起的关注度无法表示的问题，基于空间信息对关注产生影响的心理学原理，提出引入空间线索短时变化梯度度量单个声源空间方位快速变化引起的关注，由各子带空间线索组成的空间线索矢量的短时变化均值作为空间线索变化梯度，建立基于空间线索变化梯度的音频关注度模型。在此基础上提出基于空间线索变化统计量的音频关注度计算模型。由于多个声源包含频率成分不同，方向变化时即使空间线索矢量短时变化的均值较小，但各个子带的空间线索的变异仍然较大，因此可以利用空间线索矢量短时变化的方差来度量空间线索矢量总体变异程度，利用空间线索变化的统计值来计算同时发生的不同方向多声源引起的关注度，建立更完整的基于空间线索的音频关注度。.我们进一步将上述音频关注度分析引入安防监控音频编码中，提出自适应变码率可分级编码框架。由于在海量监控数据中真正需要高质量编码只是一部分包含关注事件的音频信号，在关注度模型检测没有突发事件时，分级增强层编码处于关闭状态，仅以核心层对音频信号进行编码，以保证背景声音基本质量；在关注度模型检测到发生突发事件时，增加增强层编码，提高包含关注事件的音频信号的编码质量；当关注度模型检测到关注事件结束时，关闭增强层编码，降低编码器的编码码率。通过此自适应的可分级增强编码框架，以最小平均码率代价提升安防监控音频质量。单个音频监控点采用本方法进行编码时，检测到关注音频时，短时间内的编码码率仍然会提升至最高，但对于多点汇聚时，由于各个监控点同时发生突发事件的概率较小，因此系统的总体码率仍将保持较低的状态。最坏情况下所有监控点同时发生突发事件，此时的码率和增强层最高编码码率相当。测试表明，采用自适应变码率机制后，平均码率仅增加5.92%，可有效降低增强层编码对网络带宽和存储空间的消耗。