基于副本技术的网络化软件可信保障方法研究

Network enabled software as an important development direction of software technology, is usually large-scale, dynamic and complex online service. To guarantee the trustworthiness of network enabled software, especially to meet the requirements of high availability, high scalability and corresponding dynamic optimization, this project will make research on the guarantee methods and dynamic optimization technologies for replication-based network enabled software. First, to obtain the high availability, due to the tradeoff of consistency and availability for replication, we will propose an efficient causal consistency approach with asynchronous replication, which can meet the common semantics of network enabled software and guarantee the high availability as well; Second, in terms of high scalability, considering the tradeoff of replication consistency and performance, we will mainly study an consistency tunable in-memory replication approach which uses active replica management, to solve the load unbalance and hotspot problems of network enabled software; Third, as the complexity, dynamism and online service features of network enabled software, we will present dynamic optimization algorithms to assure the high availability and scalability, based on the quantitative models. Finally, we will use our existing software service and cloud-based platforms to validate and evaluate our proposed technologies and systems. The expected research results of this project can guarantee the trustworthiness of network enabled software and improve the runtime quality.

网络化软件作为软件发展的重要方向，具有规模巨大、复杂动态以及在线服务等特征。针对网络化软件的可信保障问题，特别是为了满足高可用性、高可扩容性及相关动态优化的需求，本项目基于副本技术研究相应的保障方法和动态优化技术。首先，在高可用性方面，由于副本一致性和可用性存在权衡关系，为了满足网络化软件常见应用语义、又能保障高可用性，研究基于异步复制的高效因果一致性实现方法；第二，在高可扩容性方面，考虑到副本一致性与性能之间的权衡问题，针对网络化软件负载的不均衡性和热点数据问题，重点研究基于主动副本策略、一致性可调的分布式内存副本技术；第三，针对网络化软件的复杂动态和在线服务特性，研究基于定量分析的可用性和可扩容性动态优化方法，实现对可用性和可扩容性的优化保障；最后，依托已有服务化软件平台和云计算平台进行验证和评估。该研究结果可实现对网络化软件的可信保障，提升其运行期质量。

在互联网快速发展和广泛应用的背景下，网络化软件的规模巨大、复杂动态、在线服务等特征使其对软件可信保障方法提出了新的挑战，特别是对软件可用性和可扩容性以及动态优化提出了更高的需求，而作为提升软件可用性和可扩容性主流方法的副本技术却面临着一致性、可用性和性能相互权衡的挑战。针对该问题，本项目的主要研究内容和结果包括：. 在高可用性保障方面，提出了基于异步复制的高效因果一致性实现方法，该方法在保障高可用性和因果一致性的前提下取得了与最终一致性接近的性能，仅引入了约1.6%-5.4%的开销。提出了基于因果一致性语义的节点失效缺陷检测方法，可用于自动检测常见副本服务的节点失效缺陷，其中发现HBase存在的1个真实缺陷已被开发者确认并修复。. 在高可扩容性保障方面，提出了面向分布式内存热点数据的在线检测技术，其检测的准确率和召回率明显高于已有算法，而且通过数据采样、过滤以及窗口采样极大减少了需处理的数据，满足了在线检测的性能需求；提出了基于主动副本策略的自适应分布式内存副本技术，与已有技术相比，在数据不均衡情况下能快速对数据动态创建或者回收副本，从而取得更高的系统性能。. 在动态优化方面，研发了副本一致性的定量测试方法和优化框架，通过真实测试用例自动量化评估副本服务的一致性，实现副本配置的优化选择；提出了基于服务副本功能语义理解的调度优化技术，利用服务源代码进行自动化语义表征和功能分类，考虑不同类别副本间资源竞争进行副本动态放置和整体性能的优化调度；研发了软件服务副本参数的动态配置和优化方法，采用静动态程序分析方法为软件服务的副本配置参数自动提供便捷的远程修改和动态配置接口，从而实现对副本协议的动态配置和优化。. 基于上述研究成果，研制高可用因果一致性系统CoCaCo、分布式内存副本系统Ember等原型系统，并对主流云计算服务进行验证评估。研究成果可应用于大规模网络服务等对可用性和可扩容性需求较高的场景，能够提升其运行期的可信保障水平。