视频客观质量评价中的运动掩膜特性研究

Objective quality metric plays a vital role in video communication systems, however, the prediction performance of state-of-the-art algorithms is far from application. Lacking of sufficient intermediate data, current video quality metric can not reach an acceptable predication performance. In this project, we will redo subjective test on existing databases for video quality assessment. In the test procedure, eye-tracking equipment will record detaild eye movement information. Based on these useful information, we will ananlyize the time slot division method, and use feature extraction to predict the time slot. With the eye movement data, the affection of visual salience map by the strength of noise will be also analyzed. Simutaneousely we will model and get the threshold of noise strength corresponding to the variation of visual salience region, and the strength of motion corresponding to the moving speed. With all the previously collected data, the final MOS will be predicted. Benifite from the intimate view of motion masking data and precise prediction, the performance will be boosted significantly.

视频质量的客观评价方法对视频通信系统的质量控制起着至关重要的作用，而目前算法的性能离实际应用距离尚远。由于缺乏足够详细的运动掩膜信息，目前的视频质量评价算法无法达到很好预测性能。本项目通过对已有数据库进行详尽的信息补充，为视频质量评价算法提供更多设计依据，并通过更精细的分类和针对性的算法设计，提高客观评价索引的性能。算法改进具体内容包括：设计主观观测实验，用眼动仪记录测试视频在观测过程中的眼动数据；以此为依据，分析时隙切分方法，并通过特征提取准确预测时隙分区；通过真实的眼动数据分析噪声对视觉关注区域的影响，提取视觉关注点转移阈值，改进现有的视觉关注区域检测算法；分析视频内物体运动速度与视频帧运动矢量之间的对应关系，建立模型预测视觉关注强度；以这些中间预测的结果为基础，设计两级机器学习模型，分析和训练学习参数，预测MOS值。通过细分步骤，并对每一个步骤提供可用的验证数据，提升算法性能。

在基金支持下，本项目主要完成了几项工作：设计了主观观测实验，用眼动仪记录了视频质量测试过程中测试者的眼动数据；通过分析眼动数据及观测者的观测特性，提出了高效鲁棒的光流估计方法；以光流估计的结果为基础，结合全局运动估计算法思路，采用空域和时域融合的方法提取视频中的运动关注区域；通过分析运动关注区域的连贯性，设计时隙切分方法。然后以上述算法和实验的结果为基础，设计了基于机器学习的视频质量评价模型，并用眼动测试的结果和主观测试的结果为真值，分析算法的性能。通过项目的研究，在光流估计方面提出了多项改进算法，并在国际期刊和A类会议中发表了相关论文，同时也发现了视频质量评价中仍存在的问题，为后续的研究提供可借鉴的实验结果。