基于网络编码的多云存储若干关键问题研究

Inter-cloud (or Cloud of Clouds) is viewed as the next revolution in the cloud computing paradigm wherein the computational and data infrastructure for handling scientific,business and enterprise applications spans across multi-type and multi-brand clouds, and inter-cloud storage is exactly one of key parts of inter-cloud. Due to high transmission cost among inter-cloud storage nodes, it makes the difficulty of promotion for inter-cloud storage. However, it still lacks efficient schemes to reduce the bandwidth cost consuming by system operations of inter-cloud storage. Motivated by this, we start our studies based on inter-cloud storage, use the informatin flow graph and product-matrix framework as the main modeling methodologies, adopt random linear network coding as the main technique, and study some key issues of inter-cloud storage, including: (1) we design & implement a non-proxy network-coding-based system architecture using cloud computing resources and design & implement corresponding optimal repair schemes; (2) we design & implement optimal scaling algorithms of inter-cloud storage with network coding; (3) we design & implement the efficient network-coding-based data fault tolerance transition schemes. Our goal is to reduce the bandwidth cost consumed by data repair, data scaling and fault tolerance transition of inter-cloud storage so as to lower running costs of inter-cloud storage, and promote the application and diffusion of inter-cloud storage.

随着科学界和工商界逐渐采用多类型和多品牌的云来部署计算和数据平台，多云或将成为下一代云计算模式，而多云存储正是其中重要的一环。由于多云存储节点之间传输数据需要缴纳大量费用，从而导致多云存储在应用推广上存在一定的障碍。但是，目前仍然缺乏有效机制去降低多云存储在系统操作中所耗费的带宽开销。本项目拟以多云存储系统为出发点，以网络流图和乘积矩阵为主要建模分析方法，以随机线性网络编码为主要技术手段，针对多云存储的几个关键问题进行研究，内容包括：(1) 设计并实现一个利用云计算资源进行网络编码的去代理化多云存储容错架构，并在该架构下设计实现最优的容错修复方案；(2) 设计并实现基于网络编码的最优的多云扩展算法；(3) 设计并实现基于网络编码的高效容错转换机制。该研究主要目标是降低多云存储在"数据修复、数据扩展、容错转换"所产生的带宽开销以降低运营成本，从而促进多云存储应用和普及。

本项目针对云存储系统的带宽的稀缺性，研究了基于云存储的网络编码技术，减少了网络修复带宽，提高存储可靠性。具体而言，主要取得如下成果：.（1）面向云存储系统的修复带宽优化问题，其中在跨机架带宽优化策略方面取得了比较大的突破，最好可节省21%的带宽成本；（2）面向私有云存储数据中心的存储扩展优化问题，降低了存储扩展所造成的带宽消耗，扩展时间可降低多达50％；（3）面向私有云存储数据中心的容错转换优化问题，降低了容错转换所造成的带宽消耗，转换效率最多提高一倍；（4）面向云备份存储系统的去重技术和编码结合的优化问题，备份降低读吞吐量可提高最多430％。通过上述研究内容和解决方案，以解决面向云存储系统的数据修复、存储扩展、容错转换和备份去重等问题。.在项目资助的3 年时间里，项目研究团队已录用发表学术论文13篇，其中CCF 推荐A 类论文8 篇（项目申请人第一/通讯作者6篇），申请国家发明专利11项（授权3项），并且培养硕博研究生8名(已毕业3名硕士)。