能量受限条件下的聋哑人手语视频编码方法研究

The research of optimal power allocation between video encoding and transmission,visual selective attention mechanism of deaf community,the integration of power-rate-distortion theory and regions of interest video encoding method have important theory significance in improving the efficiency of sign language encoder. In view of this,this project plans to carry out the following researches:(1)optimal power allocation between video encoding and transmission;(2)visual selective attention mechaninsm of deaf community under occlusion constraints;(3)face and hands detection under occlusion constraints;(4)power aware regions of interest sign language video encoding.Through above resarches,propose efficient sign language encoding method under energy constraints.This project has important theorectical research value in solving the optimal resource allocation of sign language video encoder; the new sign language video encoding methods have practical value in improving the efficiency of mobile communication among deaf people.

优化分配视频编码功耗和视频传输功耗，深入研究聋哑人视觉选择注意机制，将功率率失真理论和感兴趣区能量分配视频编码有机结合，使两者实现信息共享和优势互补，对进一步改善能量受限条件下的手语视频编码效率具有重要的理论意义和研究价值。鉴于此，本项目拟开展以下研究：（1）视频编码功耗和视频传输功耗的优化分配方法研究；（2）手脸遮挡条件下的聋哑人VSA机制研究（3）手脸遮挡条件下的手部和脸部检测方法研究；（4）感兴趣区能量感知手语视频编码方法研究。通过以上研究，建立能量受限条件下的聋哑人手语视频编码新方法。开展本项目研究对于解决能量受限条件下手语视频编码的最优化参数配置和资源分配具有重要的理论研究意义；所建立的手语视频编码方法对于提高聋哑人之间的移动通信效率具有实际应用价值。

本项目建立了60G的中国手语视频库，该视频库符合国家标准，语料库丰富，可用于手语视频编码、遮挡条件下的手势跟踪、聋哑人情感计算等前沿领域；综合考虑无线视频终端电池能量的时变性和聋哑人视觉注意机制的不平衡性，建立了感兴趣区能量感知手语视频编码方法，该方法在帧层依据无线视频终端当前可使用电池能量和视频帧复杂度确定参考帧数和搜素范围，在宏块层依据手语视频不同宏块区域的视觉重要性确定宏块预测模式和量化系数，最后根据帧层和宏块层共同确定的参数进行编码。实验结果表明该方法在保证手语视频感兴趣区编码质量的同时，能够进一步减少编码器计算复杂度，节省无线视频终端系统的计算资源；针对手脸遮挡条件下的手语视频手势检测问题，提出一种基于力场（Force Field）转换的手势检测方法，该方法能够实时进行手脸遮挡条件下的手势检测；详细分析了H.264视频编码标准中帧内（Intra）、帧间（Inter）和跳帧（Skip）三种预测模式的功率率失真(Power-Rate-Distortion ,P-R-D）特性。在此基础上，分别建立了编码一帧手语视频的能耗模型和P-R-D模型，通过智能控制一帧视频中采用帧内、帧间和跳帧预测模式进行编码的宏块数量，实现了对移动手语编码系统的功率率失真优化；提出了一种自适应采样方法，该方法能够依据手语视频通信特性和无线视频终端可用的电池能量来动态调整视频传感器采样频率，实验结果表明这种自适应方法在平衡电池能量和视频可理解性上要优于连续采样方法；针对移动手语视频通信中存在的功率和码率约束问题，提出一种能量感知的手语视频编码功率率失真（P-R-D）模型。该模型将无线视频终端当前可使用电池能量划分为三种状态，在不同状态下分别建立相应的功率、码率及失真模型。实验结果表明，该P-R-D模型能够准确反映视频编码功率、码率和失真之间的关系；针对聋哑人在手语交流过程中，手部经常会遮挡面部五官，无法使用针对健听人的基于五官特征的情感计算方法来识别聋哑人的情感状态这一难题，提出了一种聋哑人情感计算方法，实验结果表明该方法能快速准确地进行聋哑人情感判断。. 本项目的开展和研究对于解决能量受限条件下手语视频编码的最优化参数配置和资源分配具有重要的理论研究意义；所建立的手语视频编码方法对于提高聋哑人之间的移动通信效率具有实际应用价值。