基于强纠错再生码的大数据分布式云存储中的安全关键技术研究

With the data explosion in this big data era, traditional data storage cannot meet the new storage requirements. Distributed cloud storage can achieve the data flexibility, availability and stability in the big data environment. Since regenerating code has the optimal tradeoff between storage efficiency and repair bandwidth, distributed cloud storage systems that employ the regenerating code can achieve the best tradeoff between storage performance and costs. With better error correction capability, Hermitian code based regenerating code has great potential in distributed cloud storage systems , especially in the systems that have security requirements. In this research, we plan to study the security problems in the distributed cloud storage systems for big data that employ the Hermitian code based regenerating code. We will combine the research on the data encryption and integrity check with the research on the secure data repair and access, according to the underlying Hermitian code based regenerating code. We will propose secure algorithms that can: i) prevent the data leakage due to the break of internal storage nodes; ii) detect and combat the malicious storage nodes during data repair and access to ensure the data availability and integrity. Through the research of these key security technologies in distributed cloud storage for big data, we can improve the security level of the system and reduce the probability of data loss, while keeping the performance of the storage system unaffected. This research will provide strong security assurance for the increasing big data applications in our country.

随着大数据时代的到来，数据量呈现爆炸式增长，分布式云存储系统从灵活性、可用性、稳定性等方面满足了大数据环境下新的存储需求。使用再生码编码的分布式云存储系统，具有高存储效率和低数据修复带宽，是兼顾性能和成本的最优存储方式。基于厄米特码的再生码与普通再生码相比，具有更强的纠错能力，在对安全特性有要求的分布式云存储系统中有广阔的应用前景。本项目针对基于厄米特再生码的大数据分布式云存储系统中存在的安全问题，将数据加密、完整性校验与数据的安全修复及访问置于统一的厄米特再生码编码框架下进行研究，并提出相应的安全算法，防止由于内部存储节点被入侵而造成的数据泄漏，在数据维护和访问中高效检测和防御恶意内部节点，保证数据的可用性和有效性。本项目研究的大数据分布式云存储安全关键技术，可以在保证分布式云存储系统高性能的前提下，提高系统的安全性，减少由于数据损坏带来的损失，为当前不断增长的大数据应用提供安全保障。

分布式云存储是大数据存储的最优解决方式之一，可以从灵活性、可用性、稳定性等方面满足急剧增长的数据存储需求。本项目研究了可应用于分布式大数据存储中的厄米特再生码，在具备理论上的最优存储效率或最低修复带宽的基础上，融合了数据加密、完整性校验与数据的安全修复及访问，在统一的厄米特再生码编码框架下解决了分布式存储中的安全问题。首先，基于厄米特再生码，研究了高效的分布式云存储加密算法，同时保证该加密存储算法具有再生码的优异特性：在存储效率和再生带宽上可达到理论最优界。本项目从厄米特码的代数结构入手，通过对厄米特曲线的研究，结合厄米特再生码的编码、再生、解码算法，研究了高效率的厄米特再生码安全存储算法。其次，研究了基于厄米特再生码的分布式云存储中数据块再生时，具有恶意节点检测并纠错的辅助数据生成以及数据块再生的高效算法。同时我们证明了提出的算法可以实现理论上的最大距离可分离码的最高检错/纠错能力。第三，研究了数据重建时的恶意节点检测算法，通过对数据块进行预处理，在保证检测有效性的基础上，显著减小了所需运算量。研究了厄米特再生码重建算法，加入了对恶意节点发送的码字符号的检错及纠错功能，实现了低计算复杂度的厄米特再生码的安全重建。安全重建算法同样可以实现理论上的最大距离可分离码的最高检错/纠错能力。最后，综合上述的安全关键技术研究，本项目开发了基于厄米特再生码的安全存储原型系统，实现了：基于厄米特再生码的加密存储算法；基于厄米特再生码的安全再生算法，包括恶意节点检测、处理算法；基于厄米特再生码的安全重建算法，包括数据块预处理算法、恶意节点处理算法。我们开发的安全存储原型系统，具有可靠易用、安全容错以及易扩展的特性，可广泛应用于对安全性要求高、存储量需求大、可靠性要求严格、成本要求低的数据存储场合。