Spark 框架下移动轨迹大数据分析的分布式建模与并行优化算法研究

Mining, analysis and utilization of mobile trajectory big data provide new ideas for solving the urban issues, such as traffic congestion. In this project, we focus on the timeliness, robustness and accuracy of distributed modeling and parallel optimization algorithms in the Spark-based taxi trajectory big data deep-mining and analysis. More specifically, this project intends to build a distributed storage and parallel computing platform based on the Spark. First, we study passenger travel characteristics using spatio-temporal dynamics of distributed modeling approach, and propose a parallel association mining algorithm to analyze taxi operating characteristics in multiple dimensions based on the processing strategies associated with massive small files, thereby perceiving real-time traffic conditions. Second, we develop a parallel nearest neighbor optimal classifier and a parallel prediction algorithm using correlation analysis to forecast traffic flow in real time. Third, using the classical probability and maximum likelihood estimation methods, we establish a link-based distributed waiting time prediction model and a parallel time series algorithm to recommend the best waiting spot. Finally, we present a parallel affinity propagation optimization algorithm and a distributed autoregressive integrated moving average optimization model to predict the number of passengers. Simultaneously, we compute the arrival travel time at the waiting spot and build a distributed queuing model for estimating passenger waiting time to recommend the fastest routes for passengers. The research of this project will offer a theoretical basis and technical support for the dynamic monitoring and early warning control of complex transportation networks.

移动轨迹大数据的挖掘、分析与利用，为解决交通拥堵等城市问题提供了新思路。本项目研究Spark框架下出租车轨迹大数据分析中的分布式建模与并行优化算法，致力于解决实时性、鲁棒性和精确性问题。具体的是，搭建基于Spark的分布式存储与并行计算平台，（1）采用时空动力学分布式建模方法研究乘客出行特征，基于海量小文件处理策略提出并行关联挖掘算法多维度分析出租车运行特性，动态感知交通状况；（2）设计面向相关性分析的并行近邻优化分类器和并行预测算法，实时预测交通流量；（3）利用古典概型与极大似然估计法构建基于路段的分布式等待时间预测模型和并行时序算法，推荐最佳候车地点；（4）提出并行近邻传播优化算法和分布式差分自回归移动平均优化模型预测乘客数量，并计算到达载客点的行驶时间和建立分布式排队模型估算在载客点的等待时间，推荐最快载客路线。本项目的研究能为复杂交通网络的动态监测与预警控制提供理论依据和实用技术。

在“互联网+”到“大数据×”的数字技术时代，结合人工智能、机器学习和数据挖掘等智能计算的大数据分析已成为科学领域的研究热点，移动轨迹大数据分析正成为智慧城市（城市计算）领域的研究重点。研究解决移动轨迹大数据挖掘分析所面临的挑战，已成为政府和市民高度关注的民生问题。.本项目针对移动轨迹大数据挖掘分析的实时性、鲁棒性和精确性问题，侧重Spark框架下出租车轨迹大数据分析中的分布式建模与并行优化算法，围绕出行时空特征挖掘和运行关联特性分析、实时交通流预测和短时交通流预测、等待时间预测和最佳候车地点推荐、寻找乘客预测和最快载客路线推荐等四个方面的主要内容展开深入研究，利用大数据、数据活化和数据挖掘等理论，通过分布式建模、并行算法优化和深度学习，在移动轨迹大数据的频繁模式挖掘和关联分析、聚类分析、分类和预测、相关分析等方面发展非关系数据分析方法，深度挖掘和高效分析出租车轨迹大数据，为构建智能交通进而打造智慧城市提供决策依据和技术支撑。.本项目搭建了基于Spark移动轨迹大数据挖掘分析的分布式存储与并行计算平台，构建了分布式时空动力学模型和并行关联挖掘优化算法，设计了并行相关分析优化算法和分布式实时交通流预测系统，建立了分布式等待时间预测模型和并行聚类优化算法，提出了并行分类优化算法和分布式路径优化模型，解决了基于出租车轨迹大数据挖掘分析在复杂交通网络环境中所面临的实时性、鲁棒性和精确性问题，围绕政府、乘客和司机等交通主体高度关注的实际问题提出对策，形成了移动轨迹大数据挖掘分析的理论方法与实用技术。.本项目研究成果有利于提高移动轨迹大数据挖掘分析理论、方法与技术的实用性，对于复杂交通网络的动态监测与预警控制具有重要的理论意义和应用价值。