从互联网城市相片集发现热门景观和重建焦点区域的四维时空模型

Discovery and reconstruction of popular urban landscapes from internet photo collections can provide abundant information and useful 3D models in many practical applications, such as tourism navigation, history education, urban planning, etc., and thus are very important for Digital City. This project exploits multiple visual cues of "appearance-geometry-time" to organize large scale data from internet photo collections, and then builds a hierarchical structure in a "photo set-neighboring relationship-landscape-urban" style. A relationship model of visual appearance,scene geometry and temporal cue is also learned, and then innovatively encoded with the 4D spatio-temporal modeling of landscapes into a unified framework. This project has the following focuses. 1) In the feature dimension of visual appearance, we design a supervised learning based kernel descriptor to extract low-level visual features which can be persistent for different shooting conditions. 2) In the feature dimension of scene geometry, we study the similarity measure based on visual geometry elements, and then generalize the traditional scene prior model to a better description of geometric details and reflectance models. 3) In the landscape temporal feature dimension, we utilize the visibility and occlusion to explore the appearing order, co-existence relationship, and extinction and substitution for different interest points, and finally optimize the parameters of the "appearance-geometry-time" relationship model in a unified Bayesian network to discover popular urban landscapes and reconstruct high-quality 4D spatio-temporal models.

城市热门景观和焦点区域的发现和建模为旅游导航、历史教育、城市规划等应用提供了丰富信息和三维模型，是数字城市一个重要部分。项目研究使用互联网城市相片集按"表象-几何-时间"多维视觉线索分层抽象和组织大规模数据，得到"相片集-近邻关系-兴趣点-景观-城市"层次结构，有效地提取视觉表象、场景几何和时间线索的关系模型，创新地使之与景观四维时空建模问题结合到统一问题框架下。1) 在图像"表象"特征维度上，设计基于监督学习的核描述算子，提取对拍摄条件容忍的底层视觉特征描述；2) 在场景"几何"特征维度上，研究基于图像几何要素的相似性度量，扩展经典场景先验模型对几何细节和反射模型的描述能力；3) 在景观"时间"特征维度上，使用可见性和遮挡关系发现景观中不同兴趣点的出现顺序、共存关系、消亡替代，最终在统一的贝叶斯网络下优化表象-几何-时间关系模型的参数，发现城市热门景观，重建焦点区域的逼真四维时空模型。

利用互联网相片集重建城市热门景观的场景模型具有重要的研究价值和应用需求，是旅游导航、历史教育、城区规划、数字城市等现代服务的核心组成部件。本项目利用表观、形状和时间等视觉线索，在统一框架下建立包含几何、语义和时间数据的结构化模型。利用大数据和深度学习技术提取特征，使之容忍不同拍摄条件的差异。使用稳健统计和场景布局知识剔除匹配离群点，实现高质量的图像配准。利用多视角下物体构成和场景结构先验提高语义和时间协同分割的精度。我们还尝试利用基于学习的方法对场景特定类型物体实现细节增强和空洞填充，在统一的贝叶斯网络中联合优化“表观-几何-时间”关系模型，得到高质量的时空模型。项目的研究成果发表了十余篇重要的学术会议和期刊论文，包括三篇计算机视觉国际顶级会议（CVPR,ICCV）论文。获得了2016年的ImageNet大规模视觉识别挑战赛（ILSVRC）场景解析分组第四名，和2017年计算机视觉国内旗舰会议CCCV的最佳论文奖。