云计算环境下基于维存储的OLAP聚集计算关键技术研究

联机分析处理（OLAP）要在超大规模的海量数据上进行复杂聚集查询，及时向用户提供分析数据。影响OLAP聚集计算效率的关键技术是OLAP海量聚集数据的存取技术、数据立方体Cube的计算技术和查询优化技术。本项目借助云计算来攻克制约影响OLAP分析的三大关键技术，为解决高维OLAP数据联机分析与处理提供实用有效的方法。研制云环境下基于维值的OLAP海量数据分布式存储管理系统和基于维存储的多维数据的并行操作运算及优化方法，在此基础上建立高维OLAP聚集数据的分布式海量数据处理平台，支持对高维数据的远程访问、共享和处理，满足大规模高维OLAP海量数据分析与处理的需要。实现一个基于云环境的高效联机分析与处理原型系统，并将其应用到科学实验统计、医疗数据、环境气象、生物信息计算与挖掘等海量数据分析的应用领域，为这些领域的高维海量聚集数据存储和快速联机分析提供一个实用的基于云环境的联机分析与处理平台。

在三年的研究过程中，项目组针对OLAP海量数据处理问题，给出了针对倾斜数据的OLAP在线聚集算法，有效解决了倾斜数据对在线聚集的影响，大幅提升了在线聚集执行性能；定义了一种新的列文件存储格式HCFile（Hadoop Column File），将多维数据以星形模式组织，数据表按列文件格式进行存储，实现了基于Hadoop的OLAP数据按维存储，大大提高了OLAP多维聚集计算效率；给出了SQL查询到MapReduce工作流的翻译优化算法，合并具有相关性的作业，提高SQL执行效率；提出了云计算环境下的任务指派有效算法，该算法综合考虑了数据文件放置、网络带宽和集群负载，以作业完成时间为优化目标，能够快速计算出高效的任务指派方案；建立了基于MapReduce框架的QoS偏好感知的副本选择策略。针对数据中心的能耗成本优化问题，提出了基于动态定价策略的数据中心能耗成本优化方案；结合服务器动态开关和动态频率调节策略，提出了基于自反馈的服务器动态控制算法。同时，项目组在Dell集群上（32个计算节点）上部署了Hadoop环境，进行了相关算法模型的验证测试，开发了ＯＬＡＰ聚集计算原型系统。