基于地理视频的城市动态目标时空格局多维感知方法研究

Urban dynamic objects spatial-temporal pattern perception is a basic problem in urban planning and management, smart city and other fields. At present, there are some shortages in urban perception, such as unitary spatial dimension and sample bias, and the potential of geovideo has not been fully applied. Based on the theories and methods of vision computing, machine learning and spatio-temporal data mining, the project focuses on the spatial and temporal pattern visual perception of two kinds of urban dynamic objects including crowd and road vehicles from different space such as urban place, urban road and urban interior area. The key research tasks include the perception of spatio-temporal pattern of crowd people at urban place based on video sensor network, the vehicle detection and track reconstruction using surveillance video and satellite video at urban road, and the multi-dimensional spatio-temporal pattern of urban vehicle dynamic and mobile mode detection in urban interior area. The project aims to realize the multi-dimensional visual perception and analysis of spatial and temporal patterns of urban crowd and vehicle in place(point), road(line), region(polygon) and time, day, week, and month. The project belongs to the intersection of geographic information science, computer vision and spatio-temporal data mining, and the results can expand the theory and technical method system of earth observation and urban perception, and give full play to and enhance the application value of geovideo in smart city.

城市动态目标的时空格局感知是城市规划与管理、智慧城市等领域的基础性问题。当前城市感知存在研究的空间维度单一、部分样本覆盖有偏等缺陷，尚未充分挖掘地理视频的应用潜力。面向城市人群与道路车辆两类动态目标主体，以城市场所——城市道路——城市内部区域的城市动态目标时空格局视觉感知为主线，结合视觉计算、机器学习及时空数据挖掘等领域的理论与方法，重点研究(1)基于视频传感网的城市场所人群密度提取及其时空格局感知；(2)结合卡口监控视频与卫星视频的城市道路车辆检测追踪与轨迹重建；(3)城市车辆动态的多维时空格局分析与移动模式探测；实现城市人群/车辆时空格局在城市内部场所(点)/道路(线)/区域(面)与时/天/周/月多个时空维度的视觉感知与分析挖掘。课题属于地理信息科学、计算机视觉以及时空数据挖掘等交叉领域，成果能够拓展对地观测与城市感知理论与技术方法体系，充分发挥并提升地理视频在智慧城市领域应用价值。

地理视频蕴含丰富时空语义，海量泛在视频数据为城市感知提供了新的数据来源，其分析挖掘在城市规划管理方面具有重要应用潜力。项目基于地面及高空拍摄的包含位置信息的地理视频，开展面向城市人群与车辆两类目标的多维度时空格局感知与分析挖掘，主要研究成果如下：（1）基于城市广场多视点监控视频，构建了人群目标检测跟踪模型，开展了地理空间映射与多摄像机人群轨迹融合，并分析了人群分布时空特征。以人群分布为依据，设计了监控摄像机参数推断算法，构建了监控摄像机空间优化模型。（2）针对卫星视频中车辆等极小目标检测跟踪这一难题，构建了双流检测神经网络模型，并基于图神经网络实现了卫星视频中道路车辆的目标检测与持续跟踪。同时，结合道路监控视频和Faster R-CNN模型，从地面视角进行了城市道路车辆检测，分析了研究区车辆时空分布格局，并开展了城市空气质量精细模拟与道路网络脆弱性分析。（3）在城市尺度，以线状街道为研究单元，分析了城市车辆在街道单元分布的时空特征，并探测了不同时段内车辆分布热点。应用车辆分布、城市居民消费及出行等活动数据，完成了街道空间社会、经济及文化等多维度城市活力感知及其影响因素分析。（4）针对海量监控视频检索需求，结合视频片段的开始时间与结束时间，定义了二维时间格网结构及相应时态拓扑关系，设计了基于二维时间格网的地理视频时空检索与快照检索方法，显著提升了检索效率。结合社交媒体中的视频及文本数据，设计了城市安全事件检测与安全格局感知框架，对社交媒体中地理视频及图片及其在城市安全领域中的应用进行了综合分析。项目充分利用地理视频时空语义，实现了基于地理视频的城市人群及车辆时空格局感知，基于城市人群及车辆分布开展了城市安全、城市韧性及城市活力分析挖掘，拓展了对地观测与城市感知理论与技术方法体系，发展了基于二维时间格网的地理视频时空检索方法，在智慧城市及城市计算等领域具备广阔前景。