大数据环境下服务的存储范式理论及操作代数研究

Under environment of Big Data, the amount of service becomes very big. Existing service storage models becomes inefficient consequently since there are many redundancies in them. Such redundancies result in inefficiency of service retrieval, long response time, inconvenience of service addition, deletion and update. Focus on these shortages, this proposal aims to propose a new theory for service storage model, construct a multilevel index model based on it, introduce their operations, and develop a prototype verification platform. Equivalent relationship theory is introduced to construct four service storage forms. According to these forms, a multilevel index model of service is constructed. Nonintersection between equivalent classes ensures nonredundancy of the proposed model; full coverage of equivalent classes upon equivalent elements ensures integrity of the model. Operation algebra based on functions between equivalent elements and equivalent classes ensures correctness of service retrieval, addition, deletion and update. There will be three deployment solutions which suit different service sets with different characteristics and scales. An adaptive algorithm will be designed according to performance estimation functions in order to maximize its efficiency. The proposed model play a very important economization role in large scale service set on cloud platform and mid and small ones on internet of things.

在大数据环境下，由于服务数量巨大的特性，现有的服务存储模型因为存在信息冗余，从而导致服务检索效率低下、插入删除繁琐等问题。因此，本项目拟从基础理论层面出发，提出一套高效可靠无冗余的服务存储管理模型及其代数操作，并完成原型平台的开发与测试。本项目拟以等价关系理论为基础，提出服务的四级存储范式，消除现有服务存储模型中不同形式的信息冗余。根据四级存储范式构建服务的多级索引模型，拟以等价类的无交性保证服务存储模型的无冗余性；以等价类的全覆盖性保证服务存储模型的完整性。拟以等价元素与等价类之间的函数为基础，定义服务存储模型的检索、添加、删除、更新等操作，以保证操作的正确性。根据服务集规模的大小和特性，拟提出初级、中级和完整部署模型，并根据效能评估函数开发相应的自适应匹配算法，以使模型达到最优的性能。根据初步估计，该模型对于云平台上的大规模服务库，以及物联网环境下的中小规模服务库具有重要的节能作用。

在大数据环境下，由于服务数量巨大的特性，现有的服务存储模型因为存在信息冗余，从而导致服务检索效率低下、插入删除繁琐等问题。因此，本项目从基础理论层面出发，提出一套高效可靠无冗余的服务存储管理模型及其代数操作，并完成了原型平台的开发与测试。本项目拟等价关系理论为基础，提出服务的四级存储范式，消除了现有服务存储模型中不同形式的信息冗余。在模型中，等价类的无交性保证服务存储模型的无冗余性，等价类的全覆盖性保证服务存储模型的完整性。以等价元素与等价类之间的函数为基础，定义服务存储模型的检索、添加、删除、更新等操作，保证了操作的正确性。根据服务集规模的大小和特性，拟提出初级、中级和完整部署模型，并根据效能评估函数开发了相应的自适应匹配算法，使模型达到最优的性能。根据实验结果，服务的多级索引模型对大规模服务库和中小规模服务库均能够起到提高检索效率的效果。具体研究成果如下：.(1).根据四级存储范式，构建服务的多级索引模型，并完成了原型系统的开发。实验结果显示，根据不再特性的服务集，服务检索效率比现有模型提高10%-30%。.(2).研究了服务集中的各种参数对服务检索的影响，给出了根据不同特性的服务集如何选择服务存储模型的评估方法。.(3).研究了服务的多级索引模型在分布式环境下的解决方案，给出了以Chord协议为基础分布式部署方法，以使模型能够处理更大规模的服务检索问题。.(4).基于(2)的进一步研究，发现了原key选择策略的一个漏洞，提出了一项重要改进，提高了服务添加的效率，该改进同时也为分布式部署进一步优化提供了理论依据。.(5).以服务的多级索引模型提供的高效检索能力为基础，开发了比特币区块链的计算机取证分析的新应用途径。