基于道路场景模型的多视点立体视频监控算法研究

道路交通智能化是电子信息技术在交通运输领域应用的前沿课题，本项目针对当前平面视频监控的突出问题，拟基于三维建模理论和多视点立体视频技术，对道路场景中的场景匹配、内容定位、背景提取、局部区域可分级增强等算法进行深入研究。创新点(1)提出典型道路场景理论模型及场景中双视点立体摄像理论模型，经软件建模仿真提取模型参数；(2)提出一种实际场景的模型匹配方法，由多组双视点立体视频生成共用的场景模型背景图像；(3)基于双视点立体视差提出一种图像内容场景定位算法，并以图像块为单位划分图像内容区域；(4)提出一种基于局部图像内容区域的质量、空域及时域可分级增强算法。所产生研究成果包括上述算法和技术，其对道路场景智能化视频监控应用有重要的理论价值和现实意义。

本项目基于典型的道路场景模型，深入研究了多视点立体视频的智能监控算法。主要工作包括：（1）分平行、会聚两种类型，建立了典型道路场景下的双视点立体摄像机拍摄模型。并在该模型的基础上，研究典型道路场景的共性模型，对常见几种道路场景进行了理论建模。同时利用3ds MAX进行模拟仿真，搭建了多视点视频编码 MVC的软件平台。（2）分析了立体匹配算法和双视点摄像机拍摄的道路场景图像的特征，采用了一种基于特征点匹配的运动物体跟踪技术来对目标物体进行定位，同时通过背景差分法来检测图像中的受关注内容是否处于运动状态。通过将实际道路背景图像与道路模型图像进行匹配对比，发现阴影对场景背景图像分析有显著的影响。为有效消除阴影的影响，结合彩色图像高斯混合模型、基于HSV颜色空间的阴影检测去除方法和局部能量的水平集方法，可以准确地检测出交通道路监控图像中的运动目标。针对多视点立体视频因各视点图像颜色不均衡影响编码效率的问题，设计了颜色校正方法，并提出了一个基于前景的适应性视差矢量估计算法。针对常见的会聚型双视点立体摄像机的光轴会聚点难以测量的问题，通过比较左右图像中主点对应位置的差异和比较左右摄像机的外部参数，提出了两种会聚点测量方法。同时，基于可调节双视点立体摄像系统，分别利用三角几何关系和摄像机相对外部参数，提出了两种目标定位测量方法。（3）在可分级编码（SVC）方案中MGS编码基础之上，实现了一种基于分块的视频图像感兴趣区域增强算法。根据多视点视频监控行人目标的特点，提出了一种基于退火粒子滤波器（APF）的多视点人体跟踪算法。根据双视点摄像机的特点，提出一种通过三步搜索来确定最佳匹配块的快速视差估计算法。在多视点视频编码(MVC)算法中，采用了双视点的全局视差(global disparity)来自适应地确定MVC视点间预测中的搜索区域尺寸，可以快速获得全局视差矢量(GDV)。为了进一步提高多视点图像中高关注度显著区域的数据鲁棒性，尝试了一种基于显著特征的篡改检测及自恢复的水印方案。通过大量实验，验证了以上各研究成果的有效性。项目期间共发表论文13篇，其中SCI/EI检索论文9篇，出版译著1部，申请发明专利7项，获天津市科技进步二等奖1项。