视频与三维城市模型的时空一致性融合研究

This proposal studies fusion of video and 3D city. Our goal is to register together video frames and their corresponding 3D model by taking spatio-temporal consistency into consideration. The result can be used for visualization in smart cities. 3D models consist depth information and are typically continuous while videos have high resolution, dynamic textures but lack depth information and are often partial to the scene. We aim at fusing the two modes, taking advantage of their complementary information, to augment the 3D model with dynamic 2D textures and leverage video processing using 3D structures. Existing methods are limited in the following aspects: First, the rendering styles across the two domains can vary considerably. The scene appearance (colors, lighting, texture) and geometry depicted by the artist can be very different from the rendering of the 3D model; Second, the number of possible alignments of the painting to a large 3D model, such as a partial reconstruction of a city, is huge; Third, in case of videos-3D registration, they can not guarantee temporal smoothness. To solve the above problems, we plan to further study video registration to 3D city model. We aim at two key problems of video-3D registration, one is the compact representation of complex 3D scenes via visual salience structure, the other is to incorporate spatial-temporal consistency constraints into the registration to refine the registration results.

本项目旨在研究面向智慧城市的视频与三维城市模型的时空一致性融合。三维城市模型体现了城市的空间结构信息，视频包含了社会活动、交通状况等丰富的城市实时信息，本项目拟将城市空间的视频数据与三维城市模型进行配准融合，生成大范围三维全景动态画面，实现视频数据与三维场景数据的全时空立体融合，实现对相关区域实时信息的全局动态可视化。现有的算法主要存在以下局限性：一是由于视频的颜色、光照等与模型的绘制结果有较大差异，现有的特征算子对此类变化鲁棒性较低；二是城市模型包含海量信息，现有算法匹配效率不高；三是缺乏时空一致性约束。本项目拟对视频与三维城市模型的配准进行系统、深入研究，为此需解决两个关键问题：一是结合人眼视觉显著性特征理论，研究图像与三维模型的可匹配特征检测与描述，有效实现跨模态匹配的特征及特征描述方式；二是利用多层次特征进行匹配，实现视频与三维城市模型的时空一致性融合研究。

如何实现不用领域的信息与大数据的融合是智慧城市领域的一个难点问题，其中，海量视频数据与城市空间信息深度耦合、关联，实现时空一致性的实时信息一体化呈现和可视化分析，一直受到研究人员的广泛关注。通过视频与三维城市信息的融合,可以实现城市时空信息的一体化呈现、协同化分析、精密化计算，在智能监控及智慧交通等领域有着重要应用。现有的算法，大多针对某类特定的三维模型；另一方面，视频的拍摄环境，如光照、天气等变化较大，与三维城市模型的绘制环境存在很大差异，而现有的配准算法在特征提取以及特征匹配的效率、精确度方面存在不足，难以适用大规模三维城市模型的配准。.视频与三维城市模型的自动配准是实现两者融合的关键。我们认为，要实现视频与三维模型的融合，需解决三个主要问题：图像与三维模型的特征提取，图像与三维模型的高效匹配以及视频与三维城市模型的时空一致融合。基于以上认识，我们对以上问题进行了较为深入的研究探索。在项目的执行期间，进展顺利，取得了较为丰富的研究成果，共发表学术论文6篇，申请专利2项，并在学术会议上进行报告。我们构建了一个鲁棒实用的原型系统，能够处理大规模的场景与视频的融合，取得了较为满意的结果。这些研究成果对智慧城市的可视化技术研究有一定的借鉴作用，为我们将来进一步的研究和应用奠定了坚实的基础。