云计算环境下支持复杂并行业务的高铁数据中心关键技术研究

Cloud computing has gradually become a new generation of main stream computing model because of its advantages on large-scale heterogeneous resources optimization management. Aiming to assure safe operation of high-speed rail and improve prevention and maintenance ability, operation efficiency and service quality, this research projectis oriented to the demand of large-scale complex parallel business processing and massive distributed data management in high-speed rail data center under cloud computing environment. On this basis, we explore the hierarchical hybrid storage architecture of the data center, consider the load balancing and adaptive mechanisms comprehensively, and discuss the data layout strategy, scheduling algorithm, as well as intermediate fault tolerance mechanism, in adoption of virtualization and large-scale data sets of parallel processing technology combined with fuzzy theory and dynamic multi-objective multi-constraint decision theory. Meanwhile, design the complex and efficient continuous query processing algorithm for the mass uncertain flow data in the cross-regional intensive dispatched high-speed rail sensing monitoring equipment. Finally, It is verified that the designed algorithms and mechanisms with the combination of theoretical analysis and simulation results, provide new theoretical and technical support for further design and management of high-speed rail data center.

云计算在大规模异构资源优化管理方面的优势使其逐渐成为新一代主流计算模式。本课题以确保高速铁路安全，提升其预防维护能力、运营效率、服务质量为目标，面向云计算环境下高铁数据中心大规模复杂并行业务处理与海量分布数据管理的需求，分析实际业务与数据的特征及关联，探讨计算和存储紧密耦合的演化机理，基于本体、核心元数据及约束理论构建高铁数据模型。以此为基础，探索数据中心层次化混合存储架构，采用虚拟化及大规模数据集并行处理技术，结合模糊理论与动态多目标多约束决策理论，综合考虑负载均衡以及自适应机制，研究数据布局策略、调度算法以及中间数据容错机制。同时，针对跨地域密集布控的高铁传感监测设备回传的海量不确定流数据，寻求复杂高效查询处理算法。最终通过理论分析与仿真实验相结合的手段验证所设计的机制和算法,为下一步高铁数据中心的设计与管理提供新的理论和技术支撑。

《云计算环境下支持复杂并行业务的高铁数据中心关键技术研究》按照资助项目计划有序开展研究工作，全面地完成了以下各项任务计划任务。.首先，通过深入调研分析研究面向云环境下高铁数据中心大规模、分布式、异构资源管理需求，完成了高铁业务及数据中心需求分析报告。.其次，研究高铁业务、数据关联映射关系，采用空间数据模式描述，表达各类数据之间的特征关系，构建了高速铁路数据模型。.第三，基于云仿真软件和虚拟化技术，通过无缝建模和模拟建立了云计算环境下高铁数据中心仿真平台。.第四，分析高速铁路元数据管理服务的需求，研究高速铁路核心元数据标准，进行高速铁路核心元数据库设计，建立了面向服务的高铁元数据组织架构。.第五，分析高铁数据中心数据管理框架，提出超图划分算法HPA（Hypergraph Partitioning Algorithm），进行了高铁数据中心基于超图的数据布局研究。.第六，通过实验评估查询跨度对响应时间，资源开销的影响，验证了高速铁路数据布局策略及任务调度算法性能。.第七，改进检查点容错调度机制设计，建立了高铁业务中间数据容错机制，并验证分析性能。.第八，提出了分布式不确定可感知数据流概率Skyline持续查询算法。解决高铁海量流数据的高效持续查询处理问题，结合实际数据和人工模拟数据进行了实验评估。.本项目所做的研究工作解决了云环境下支持高铁数据中心的8个关键技术问题，为高铁数据中心的设计与管理提供了新的理论、方法和技术支撑。主要研究成果已在国内外期刊和会议上发表，部分成果已经或即将在高铁数据中心建设中使用。申请国家发明专利2项；培养博士毕业生3人、硕士毕业生8人；发表标注基金编号的SCI/EI检索论文38篇,远远超过了立项申请承诺的发表6～8篇SCI/EI检索论文。