云计算环境下空间数据访问规律的动态统计方法研究

The strategy of storage and organization, copy distribution rule can be adjusted utilizing the access and distribution rule of the spatial data, which will significantly improve system performance of spatial data services. At the environment of cloud computing, the spatial data server have some features are that the peers are dynamic, the service capabilities are isomerism and the topological relations are instable. But the statistical rules based on Hotmap and Zipf-like are static and partially, and are only effective to a single server or cluster servers generally. The server performance are restricted, because the access and distribution rule of the spatial data cannot reflect its global information reallity and dynamic. A dynamic statistics method for the distribution rule of the spatial data based on collaborative cloud is proposed in this paper. Firstly, the method control the amount of basic statistical informations to keep balance of dynamic and real time through the strategy of spatial size, time granularity, information expression and compression algorithm. At the same time, the method control the amount of total statistical informations to keep balance of global and network traffic through cloud grouping and cloud chain model, node selection algorithm, cloud of cooperative agent and global fusion algorithm. At the last, the result of this research can solve the problems of the large network traffic in global dynamic statistics, and can track the global access and distribution rule of the spatial data dynamic and real time, and can improve the public service capacity of spatial data systems greatly.

利用空间数据访问分布规律调整存储组织策略和副本分布，能大幅度提高空间数据服务系统性能。云计算环境下，空间数据服务具有节点动态、服务能力异构以及拓扑关系不确定特征，而基于Hotmap和Zipf-like的统计规律都是静态和局部的，一般针对单服务器或集群服务器有效，不能真正实时、动态的反映访问分布规律的全局信息，从而制约了系统服务能力的提高。针对上述问题，课题提出基于云计算的空间数据分布规律动态统计方法，通过空间粒度、时间粒度策略、统计信息表达和分块压缩算法控制统计信息基量，在动态性和实时性上取得平衡；同时，通过虚拟云分组及云链模型、节点优选算法、云协作代理分发以及统计信息全局融合算法，从方法上实现全局统计和控制统计信息总量，在全局性和网络流量上取得平衡。本课题的研究有望解决由于全局动态统计带来的不可承载的网络流量问题，能实时动态跟踪空间数据访问全局分布规律，大大改善空间数据系统公众服务能力。

地理信息系统作为一种典型的数据密集型和服务密集型应用，利用空间数据访问规律动态调整空间数据的存储组织和开展缓存预取服务可有效改善由于用户密集访问所带来的网络流量急剧增加和服务器过载等问题。项目针对云环境下空间数据访问规律统计信息的动态获取要求，主要从以下几个方面开展了研究：. 1）研究空间数据访问的特点，针对性的提出一种空间数据访问规律统计信息的点云表达方法，在综合考虑其时空关系的基础上，利用点云聚类和梯度剔除完成统计信息压缩，减少统计信息总量，平均无损压缩幅度能达到50%以上；. 2）研究统计信息融合和分发的服务器组网模型，从节点的服务能力与服务负载两个维度，提出一种基于服务代理的统计信息的融合及分发方法, 平均信息融合速度比传统方法快约22.0%-29.0%；. 3）基于访问模式识别理论研究数据的访问相关性，开展分布式环境下小数据的融合算法研究，从服务响应速度以及服务负载两个方面开展研究，提出了一种基于空间数据相关性矩阵的并发访问存储模型和基于计算密集均衡的数据分布策略，相关方法可提高系统服务性能约10%-15%,而针对计算密集型服务的调度可大幅度的均衡系统负载，其平均单数据中心的调度时间在模拟实验环境下可压缩到0.1秒内；. 4）结合以上研究内容，为解决空间数据访问规律信息的聚类和梯度压缩以及海量空间数据集条件下的空间数据相关性表达等问题，针对性的开展了图像信息的梯度表示及其关联关系挖掘、基于压缩感知理论的稀疏矩阵表达等研究，并提出一种基于稀疏表示的特征选择与目标检测算法，相关方法可降低约75%的目标检测系统时间消耗。. 相关研究成果可为资源受限的分布式网络地理信息系统在面对数据密集、计算密集以及用户密集应用需求时，通过统计获得的数据相关性、资源相关性以及业务相关性，动态调整数据布局、服务分布以及计算任务的调配，为解决云计算环境下的大规模分布式应用服务提供理论和方法指导，为促进未来大规模、廉价分布式环境下的地理信息服务提供技术保障。