多源异构数据处理及智能交通流量预测研究

The research of this project is based on multi-source heterogeneous data and aims at construct a more complete theoretical method and system platform for heterogeneous data analysis, processing and traffic flow forecasting, and thus lead to use efficiency and application value of big traffic data. The main contents of the project are as following: (1) a distributed multi-source heterogeneous spatio-temporal data storage and retrieval method based on HBase is studied, in particular, a new four-dimensional spatiotemporal data coding method to improve the data storage retrieval efficiency is proposed; (2) a data modeling and analysis method of multi-source heterogeneous traffic data is proposed to obtain the universal data representation model, and then the data filling method is put forward to solve data missing and data sparse problem for improving the efficiency of data utilization; (3) the efficient and accurate behavior modeling method of individual travel behavior of urban residents is studied, which is based on embedded representation learning and self-excited Hawkes process to realize the analysis and prediction of urban residents travel behavior; (4) the probabilistic graph model based traffic flow forecasting method and spatio-temporal residual network based long-time population flow predicting method are studied to realize the intelligent management of traffic network. Based on the above theoretical research achievements, this project will develop an intelligent traffic data processing, analysis and prediction system based on multi-source heterogeneous data, which is used to test algorithm performance and in-depth research, and further provides platform support for future practical applications.

本项目围绕多源异构数据展开，旨在构建较为完整的多源异构数据分析处理及交通流量预测理论方法和系统平台，提高交通大数据的利用效率和应用价值。项目主要研究内容包括：（1）研究基于HBase的分布式多源异构时空数据存储与检索方法，尤其是提出一种新的四维时空数据编码方式，提高数据的存储检索效率；（2）研究多源异构交通数据的数据建模分析方法，得到通用的数据统一表示模型，并提出解决数据缺失和数据稀疏问题的数据填补方法，提高数据的利用效率；（3）研究高效准确的城市居民个体出行行为嵌入表征和自激励霍克斯过程的行为建模方法，实现对城市居民出行行为的分析预测；（4）研究基于概率图模型的路网车流监控预测和基于时空残差网络的人群流动长时预测方法，实现对路网流量的智能化管理。基于上述理论研究成果，构建基于多源异构数据的智能交通数据处理与分析预测系统，用于测试算法性能和深入研究，并为未来的实际应用提供平台支撑。

本项目围绕多源异构数据展开，旨在构建较为完整的多源异构数据分析处理及交通流量预测理论方法和系统平台，提高交通大数据的利用效率和应用价值。项目分析城市交通大数据的多源异构特性，调研每种数据来源的采集方式及其优缺点；提出了通用的数据建模及缺失填补方法，为多源异构的交通数据构建统一的数据描述模型，并自动修补数据中的误差；利用广泛存在的智能设备实现灵活机动且成本低廉的数据收集，提出了通过众包数据提取减速带位置的方法；融合多源异构数据并综合考虑外部因素的影响，准确估计路网车速与行车流量；针对人群流动监控需求，构建并优化深度时空图神经网络以实现城市人群流动的实时预测。围绕上述研究目标，项目的主要成果包括：（1）研究多源异构时空数据的统一建模及缺失填补方法。首先，对多源异构数据构建统一的数据模型，针对交通数据中的数据缺失问题，提出了基于掩码建模和缺失模式混合的多元时间序列缺失值填补方法；其次，针对交通数据中的数据误差问题，提出了基于极大似然估计和自适应噪声分布的噪声感知优化方法。（2）研究基于指数衰减和深度神经网络模型的个体出行行为预测方法和基于群智感知的新型城市感知方法。基于频繁序列模式挖掘设计了一种类别重要性衰减学习策略，获得个体出行嵌入表征并据此预测个体出行行为；基于群智感知数据提出了基于多源数据融合的岔路口车辆偏航预测方法、减速带位置提取方法、基于无监督学习的单目视觉深度估计及运动估计方法。（3）研究基于数据融合的路网车流观测方法。构建了融合城市道路、多种传感数据、社交事件的路网车速估计与行车流量观测模型，实现车流量预测与通行时间估计。（4）研究人群流动实时预测方法。构建了基于城市交通时空大数据的深度卷积神经网络，并优化网络结构以大幅降低模型所需的数据序列长度，实现了城市范围内人群流动的实时预测。