全景视频感知理解及呈现关键技术研究

As a new media form, panoramic video has a wide application prospect in video conference, scene monitoring, tourism development and many other fields. Especially for Qinghai, a province with full tourism resources and special ecological status, panoramic video can provide effective technical support to develop, advertise and promote quality ecotourism. Key technologies in panoramic video generation, analysis and presentation will be studied in this project, including: illumination estimation modeling and optimization under multi-filed conditions; fast field stitching using visual and time consistency constraints; definition, detection and analysis of visual saliency and visual distractor; evaluation of video content importance, perspective comfort modeling and intelligent perspective recommendation. We aim to solve the key theoretical and technical issues related to panoramic video generation, perceptive understanding and evaluation.

全景视频作为一种新的媒体形式，在视频会议、场景监控、旅游开发等领域具有广泛的应用前景，特别是对于青海这种旅游资源丰富而生态地位特殊的省份，全景视频可为优质生态旅游资源的开发、宣传、推广提供有效的技术支撑。本项目对全景视频生成、分析和呈现各环节的关键技术进行研究，具体包括：多视场条件下光照估计建模和光照优化；视觉一致性约束和时间一致性约束的快速视场拼接；全景视频中视觉显著性和视觉干扰的定义、检测及分析；基于显著性和干扰性分析的视频内容重要性评价建模、视角舒适度建模和视角智能推荐等问题。解决全景视频生成、感知理解和评价相关的关键理论和技术问题。

全景视频这种新的媒体形式得到越来越多的关注，在旅游开发等多个领域有广泛的应用前景。本项目以全景视频生成、理解及评价的全过程相关关键技术为研究目标，对全景视频生成中的一致性融合问题、全景视频内容分析技术和视觉内容评价三方面内容展开研究。其中全景视频生成的一致性融合层面，具体开展了光照一致的图像融合和视觉一致的快速图像拼接问题，分别提出了全边界反距离加权的图像融合策略和基于Brisk和SIFT的两阶段视场图像拼接算法，有效提升了算法执行效率和生成的拼接图像的视觉质量。内容分析层面，对视觉显著性检测、图像分割技术和目标检测等具体任务进行研究，具体包括：提出了融合金字塔特征和通道注意的改进类U-Net显著性检测模型，有效提升了类U-Net网络在显著性检测任务上的性能；针对阈值分割方法存在的阈值不准确、光照不鲁棒等，提出了基于直方图累积占比的阈值后处理策略、二阶差分波谷强调的Otsu和光照非均匀图像自适应分区的二维Otsu算法，提升了算法的有效性和适用性；提出了一种基于预训练ResNet网络的改进U-Net模型，提高了编码器的特征学习能力，提升了语义分割性能；目标检测任务方面研究了基于U-Net和简化Inception网络的两步小目标检测方法。视觉内容评价层面，开展了无参考图像质量评价和拼接图像质量评价研究，提出了模拟智慧生物由易到难学习规律的多任务渐进学习的模型训练策略和基于多视角一致性约束的无参考图像质量评价方法，提升了模型对失真模式多样性的适应能力；建立了一套质量分数均匀分布和非均匀分布的拼接图像生成方法，为图像拼接质量评价提供数据支持。以上相关技术的研究为进一步推进全景视频应用开发提供了技术积累和支撑。