面向大数据的混合存储布局优化及安全迁移机制研究

With the accelerated generation of big data across various industries and fields, the problem of data storage with high efficiency and security has become the bottleneck which restricts the big data deep mining and wide application. The key to solve this problem is further optimizing the data dynamic storage layout, and guarantying the validity of the data migration behavior and the security of the migration process. With consideration of the big data noumenal features, the project research focuses on high-efficiency storage architecture and secure data migration mechanism. First, a basic hybrid storage model oriented to big data will be constructed through analyzing the big data storage mechanism. Second, a multi-objective optimized data storage layout strategy with the artificial immune algorithm will be presented on the basis of the research on minimizing the average response time of the hybrid storage system and allocating dynamic storage with the load prediction method. Third, the migration request validity detection mechanism based on the mapping relation between the data tags and the storage node tags, and the integrity verification mechanism supporting the fine-grained data dynamic updates will be established by analyzing the internal and external factors initiating the data migration. Finally, the basic storage model will be optimized to construct a big data-oriented hybrid storage architecture with self-adaptation, high security and low energy consumption. The research will be benefit to improve the data storage layout and the storage security mechanism, and provide theoretical and technical support to trusted mining and application for big data.

随着大数据在各个行业领域的极速产生，高效能、高安全的数据存储问题已成为制约大数据深层次挖掘和广泛利用的瓶颈问题。解决问题的关键在于如何进一步优化数据的动态存储布局，并确保数据迁移行为的合法性及迁移过程的安全性。本项目针对大数据本体特征，围绕高效能存储体系和数据安全迁移机制展开研究。首先，通过分析大数据存储机理，构建一种面向大数据的混合存储基本模型；其次，在研究最小化混合存储系统的平均响应时间，以及基于负载预测的动态存储布局方法的基础上，提出一种基于人工免疫算法的多目标优化数据存储布局策略；再次，通过分析引发数据迁移的内外部因素，建立基于数据标签与存储节点标签间映射关系的迁移请求合法性检测与支持数据细粒度动态更新的完整性验证机制；最后，优化形成一套面向大数据的自适应、高安全、低能耗的混合存储体系。本研究将有益于完善数据存储布局和存储安全机制，为大数据的可信挖掘与利用提供理论和技术支持。

进入数据年代，传统的数据存储与管理方法已不能适应现实发展需要。如何高效、安全地存储数据，更好地服务于大数据的深层次挖掘与有效利用，已成为当前亟待解决的重要问题。本项目针对数据存储布局和安全迁移过程中需要解决的关键科学问题，运用负载预测、人工智能、感知技术、蚁群算法、重删技术，以及数据完整性验证等对这些问题展开了深入研究。.（1）在数据动态存储布局与优化方面。通过对混合存储架构进行分析和研究，提出了基于负载均衡的数据动态存储布局策略与改进传统遗传算法布局优化策略，提高了数据存储的响应时间、负载均衡等性能指标；针对传统数据布局策略存在静态性、滞后性以及负载不均等问题，提出了一种基于负载预测的数据动态存储布局策略，使系统达到更好的负载均衡效果；在分析数据可用性、存取时间、存储能耗以及负载均衡等多个关键因素基础上，研究并提出基于多目标优化的数据布局策略，权衡了副本存储带来的收益和代价；通过对纠删码及副本重构技术研究，提出了基于机架与网络感知的数据布局方案，减少数据重构过程中的数据传输频次和容量，降低了网络的占用率，缩短了数据布局重构时间。.（2）在数据安全迁移机制研究方面。在有效识别冷热数据基础上，提出了一种兼顾存储介质特性与负载均衡的数据迁移模型，并利用改进的蚁群算法进行求解，以满足存储负载均衡需求；通过分析云存储环境下数据重复率及可靠性，构建了基于重复数据删除的云存储模型，实现了高准确率的数据重删，有效节省存储空间；研究并提出基于Hadoop、多副本控制、多层分支树、无证书密码技术、哈希消息认证码及不可区分性混淆技术、多副本-多云存储环境的数据完整性审计多种方法，提高了数据完整性验证效率，确保了云存储数据的正确性、可用性和安全性。.通过项目的系统研究，形成了一套面向大规模数据的自适应、高安全、低能耗的混合存储体系，能满足数据安全存储和有效利用的客观需求，对大数据行业的快速发展有明显价值。