基于多传感信息的大尺度场景高维建模与表达

In the recent years, modeling dynamic urban scenes has been recognized a hot, yet challenging, problem, propelled by its wide applications in both government (e.g., smart city) and industry (e.g., movies and games) sectors. Due to the large scale, complex, and dynamic nature, traditional approaches, based on only single data sources, are limited in both accuracy and efficacy. In this proposal, we employ an array of sensors mounted on various (moving) platforms to capture rich multi-modality data, such as images, videos, and 3D point clouds. We thus perform data fusion to integrate multi-level features; we further propose methods for segmentation, classification, recognition, and finally 3D modeling of dynamic scenes of varying shapes and styles, with both high accuracy and efficiency. We adopt a knowledge-based and data driven approach to tackle this challenging problem. The research results from this project will help lay a solid foundation for the aforementioned applications. As part of the outcome of the project, we will also make public the large data library collected during the course of the project development.

近年来构建城市场景的高维时空模型在智慧城市、影视娱乐等诸多领域受到广泛关注，成为当前国际上研究的热点和难点问题。由于城市场景的大尺度、复杂性、动态性等特点，传统的基于单一数据源的场景建模方法在建模精度、准确度、效率、自动化程度等方面都存在着较大的局限性。针对此问题，本项目充分利用移动激光扫描系统、高清摄像机等不同传感设备，采用空中与地面移动，以及定点等多种采集方式获取大尺度场景尽可能完整的多源信息，实现这些多源信息的多层次特征融合；基于融合数据并结合先验知识、统计规律、在线模型库等人类认知经验和网络资源，研究大场景的分割、分类、识别以及高效率、高精度建模技术，完成风格各异、形状多变的大尺度复杂场景的高维时空建模与表达；建立大尺度场景三维点云、图像标准数据库，并公开发布。该项目的研究可为城市数字化、信息化、智能化，以及3D电影、动漫、游戏等应用奠定理论与技术基础。

近年来构建室内外大尺度场景的高维时空模型在智慧城市、影视娱乐等诸多领域受到广泛关注，成为当前国际上研究的热点和难点问题。由于室内外场景的大尺度、复杂性、动态性等特点，传统的基于单一数据源的场景建模方法在建模精度、准确度、效率、自动化程度等方面都存在着较大的局限性。针对此问题，本项目围绕场景三维数据获取、多源多模态数据处理与融合、图像/模型分割与识别、场景三维/多维建模等四个方面深入开展系统性研究，提出了一系列解决方案，在摄像机跟踪、深度恢复、立体匹配、主动式扫描、点云优化、骨架提取、视频分割、三维模型分割、物体识别、植物建模、室内外场景重建、运动功能性建模、植物生长动态建模等方面取得了重要突破，在国内外知名期刊和会议上发表论文66篇，其中在领域顶级国际期刊/国际会议（ACM TOG, IEEE TIP, IEEE TVCG, SIGGRAPH, SIGGRAPH Asia, ICCV, ICRA, ISMAR）上发表高水平论文30余篇，申请发明专利和软件著作权50余项，培养硕士博士研究生30余人。