云计算环境下海量数据查询优化与智能处理的研究

随着社会信息数据的快速增长，产生了对大规模海量数据进行分析处理的需要，也面临数据处理算法执行效率低下、运行环境复杂多样、不具备良好的可扩展性等一系列问题。而云计算作为一种按需计算、具备高效性、可扩展性、经济性、高可靠性和高可用性的新技术，近年来得到了社会的普遍关注。.我们将对当前主要的分布式数据处理模型进行深入研究，分析MapReduce等模式的优缺点，研究如何能在保留良好的数据处理模式和执行引擎的同时，使并行处理性能得到进一步的优化与提高；尝试在云环境中对网络、异构、分布、动态、智能管理条件下的各种海量数据资源进行分布式整合、索引、分析与处理方法与策略研究，设计合理高效的支持联机事务处理和联机分析处理的云数据系统架构；从而建立用于海量数据分析挖掘、处理的网络分布式的全球化混合云计算平台。为各类大规模数据处理任务提供灵活可变、适应高负载压力、支持大型联机事务处理等任务的云服务。

当前大规模海量数据的分析与处理面临着算法执行效率低下、运行环境复杂多样、不具备良好的可扩展性等一系列问题。云计算的诞生为海量数据的分析与处理提出了新的解决思路。然而，当前云计算中的海量数据分析处理计算模型及平台还不够成熟，面临着众多挑战。. 本项目通过对当前主流分布式数据处理模型进行深入研究，来解决海量数据查询及智能处理等计算任务的优化问题，使海量数据乃至大数据的分布式计算性能得到进一步的提高。项目中重点研究云计算环境下各种海量数据的索引机制、分析与计算方法等，最终要设计合理高效的云数据分布式计算架构，从而为海量数据分析挖掘、检索等应用奠定基础。. 项目主要研究内容包括两个层面：第一层面，通用型海量数据分布式计算模型的研究，重点针对基于MapReduce的海量数据分布式计算处理框架展开研究。第二层面，面向不同应用领域的专用性海量数据计算方法的研究，分别以海量多媒体数据计算与大规模射频标签数据计算为典型应用示例展开研究。.具体创新成果集中在以下几个方面：基于MapReduce的空间数据查询模型，海量数据聚类模型以及Skyline计算模型；面向海量多媒体数据的分布式索引机制；基于哈希编码和离散化的高维数据特征优化；海量射频标签数据的估计计算模型及算法。. 在本项目支撑下，目前录用及发表文章25篇，其中包括：中国计算机学会（CCF）推荐A类、B类期刊文章9篇，CCF推荐A类、B类国际学术会议文章4篇。在本项目执行期间，培养博士及硕士研究生20余人，其中毕业生15人，三人次获得国家奖学金，一人次获得大连市自然优秀学术论文一等奖。项目负责人还受邀在国际学术会议I-SPAN 2012，WICT 2012，CBD 2014，IUCC 2015进行大会主题报告。