基于云计算的海量多源智慧交通数据流的实时查询与可视化研究

The cloud computing model is becoming mainstream, along with the explosive growth of massive, heterogeneous and multi-source data in the era of big data.This topic is for data streams of traffic demand management of metropolitan smarter transportation system in cloud computing environment..Firstly, for all kinds of urban dense dispatched perceived equipment returned massive, heterogeneous, multi-source, real-time, dynamic uncertain data streams, the characteristics and association of urban traffic conditions and data stream is analyzed, and the mechanism of evolution uncertain data is discussed.Base on the body, core metadata and theory of constraints, metropolitan traffic data streams model is constructed..Secondly,using virtualization and large-scale data sets of parallel computing technology, considering the load balancing and adaptive mechanisms, the dynamic, complex and persistent high concurrent query algorithm of traffic data streams to be explored..And then, the overall structure of the continuous query result sets of massive multi-dimensional and distribution and clustering of cases each dimension are analyzed. Correspondence between the original data space dimension and the dimensions of the initial surface is optimized. Sort axis dimension is improved. Real-time analysis of multi-dimensional information visualization mechanism is established..The above work can contribute to dynamic traffic network optimization and adaptive decision-making response. Authentication mechanisms and algorithms designed by means of theoretical analysis and simulation experiments combine to provide new theoretical and technical support for the analysis and management of next intelligent transportation data stream of Beijing.

大数据时代，城市交通信息爆炸式增长。云计算环境下大都市交通体系中高并发交通数据流的管理与利用变得越来越重要。本研究针对城区密集布控的各类可感知设备回传的海量、多源、实时、动态不确定数据流，运用理论分析与仿真实验相结合的方法展开研究。.首先，分析城市交通状况与数据流的特征，探讨不确定交通流演化机理，基于核心元数据及约束理论构建智慧交通流数据模型。.其次，采用虚拟化大规模数据集并行计算技术，综合考虑负载均衡以及自适应机制，寻求解决动态、持续、高并发交通数据流的查询算法。.进而，分析海量多维持续查询结果集的整体结构、各维的分布特征及聚类情况，建立基于增量滑动窗口技术的多维信息可视化实时分析机制。.最终，通过仿真实验可视化方式展示选定区域的交通状态，评价、验证所设计的机制和算法，设计并实现智慧交通信息实时分析与展示验证系统。为北京等大都市智慧交通数据流管理与应用提供新的理论和方法。

随着城市交通信息设施的不断增加，交通信息呈现爆炸式增长，云计算环境下大都市交通体系中高并发交通数据流的管理与利用变得越来越重要。本项目针对城市交通设备产生的海量、多源、实时、动态不确定数据流，运用理论分析与仿真实验相结合的方法进行了深入的研究。.第一，分析城市交通状况与数据流的特征，针对高维交通数据的结构特征，进行有针对性的降维操作，以提高算法对高维数据集的适应性，进而建立了基于云计算的不确定智慧交通流数据模型。.第二，采用虚拟化大规模数据集并行计算技术，基于Hadoop平台的MapReduce并行化处理框架的应用，设计并实现了动态、高效的不确定交通流数据并行持续查询算法（UTDSPP）。.第三，研究了实时图形可视化技术和增量滑动窗口模型，设计了多维交通流数据可视化功能演示系统，对多源交通流进行了调研、模拟、整合，并进行了可视化开发尝试，较好地完成了多维交通数据流可视化web app雏形系统的设计与实现工作。验证了海量交通数据流直观分析效率和准确度，在功能、技术上都有一定的创新与拓展。.第四，深入研究了MapReduce框架下改进的Skyline查询处理算法，提出相应的改进策略，通过在数据处理开始阶段预先剪枝过滤掉原始数据集中无法被定义为Skyline的非Skyline点，优化查询过程中的节点集的数量，提高算法查询速度，并给出改进算法相应的实例分析。运用理论分析与仿真试验相结合的手段，评价、验证所设计的机制和算法。.通过本项目的研究，在SCI、EI学术期刊、IEEE等国际会议以及北大中文核心期刊上发表了32篇论文（其中SCI一区3篇、二区2篇、三区6篇、四区2篇，EI论文11篇，ISTP及北大核心论文8篇），质量和数量均超过立项承诺（发表论文25篇），获得国家发明专利授权4项。这些研究成果，可以为北京等大都市智慧交通数据流分析、管理与应用提供新的理论和实用方法。