面向大数据存储的节省带宽修复的纠删码技术研究

Big data is the recent hot issues in the computer field. Low bandwidth is consistent pursuit of goals in data repair in big data storage time. For this goal in big data storage, the project begins to do research on erasure codes to save repair bandwidth for big data storage. The research content includes three parts: (1) We will put forward the design objectives to save bandwidth consumption storage system as the cloud storage architectures, which combine with exact repair and functional repair; (2) We will propose erasure code scheme with exact repair properties, at the same time we analyze why the erasure code can keep the low bandwidth and low maintenance cost theoretically; (3) We will put forward a kind of algorithm, which can help the system to match automatically exact or functional repair. So that the system can repair itself on the basis of the minimum bandwidth consumption. Research conclusion will enrich the key theory and technology in the exact repair and functional repair of the big data storage, which has great application prospect in the big data storage.

大数据是近来计算机领域的热点问题。大数据存储时代进行数据修复，低修复带宽是大家一致追求的目标。针对大数据存储中的这一目标，本项目进行面向大数据存储的节省修复带宽的纠删码技术研究，其研究内容包括三个部分的内容：（1）提出节省带宽消耗存储系统的设计目标--结合精确修复和功能修复于一体的云存储架构；（2）提出节省修复带宽编码方案的具有精确修复特性的纠删码，同时也从理论上分析了该纠删码方案具有低修复带宽和低维护优势的原因；（3）提出一种判断算法，该算法能够自动完成精确修复或功能修复的匹配，从而系统能够在最低带宽消耗的基础上完成修复。课题的研究结论将丰富大数据存储中功能修复和精确修复的关键理论与技术，在大数据存储上有较大的应用前景。

本项目瞄准大数据领域的数据修复问题，利用纠删码技术来达到节省带宽消耗的目的。同时，通过提高系统的架构和运行策略，从而提高系统的运行速度和整体性能。研究内容和结果主要包括：（1）提出了一种节省修复带宽编码方案的纠删码，该方案设计的纠删码不仅可以提高大数据存储系统的可靠性，而且可以大大提高系统的性能。系统同时也从理论上分析了该纠删码方案具有低修复带宽和低维护优势的原因。（2）提出了一种支持副本策略和编码策略的分布式存储系统架构，该存储系统能够进行精确修复和功能性修复，并设计了节点调度和数据寻址方案。同时，为了提高编解码性能，进行了编解码效率分析。（3）根据分布式系统的作业调度情况，提出了一种基于改进蚁群算法的调度算法，能够降低作业完成时间同时兼顾用户的服务质量，使得系统系统总成本达到最小化。（4）针对系统内多节点协作处理的情况，提出了一种以最小平均任务时延为目标的非凸优化模型，通过反复迭代该模型的下界问题，从而获得原问题的近似解。研究成果为大数据领域的数据修复问题和系统架构的高效运行提供了新的解决方案，对丰富大数据领域及纠删码技术的研究具有重要的科学意义。