基于全数据的云存储系统实时性能建模理论及方法研究

Cloud storage systems provide sharable public data storage service to public. This leads new application model and it becomes a new trend in internet technology development. Because there are so many of internet applications and private data stored in the public data storage platform, the performance of data access almost decides whether related services work well. Performance measurement and analysis is the basis of system maintenance and performance optimization. The existing methods take several characteristics into model based on some hypothesis. This modeling approach requires an understanding of the mechanism of the storage system. This model can only get statistical results and it cannot reflect the true characteristic of a real system. With the development of big data, people can collect, storage and process big data. It's a new approach to modeling a complex system with massive data collected. The goal of our project is to make full use of all the data collected in cloud storage systems .This project aims to build a dynamic self-adaptive performance model to estimate runtime performance data using machine learning. The research including: 1. self-adaptive performance modeling using all data gather from trace/log and sensors. 2.how to use uncertain data in massive data and how to handle data transmission delay.

云存储是IaaS的重要组成部分，是大量云计算应用的基础。这些应用需要低成本、高性能且稳定的数据存储服务。由于云存储系统是一个多用户、分布式的大规模动态系统，现有的评测及建模方法不适用于云存储系统的性能分析。传统建模方式仅能反映系统的统计规律，无法获得真实系统的特性。随着大数据相关研究的发展，云存储系统中数据的采集、存储和处理都有了突破。对复杂系统进行全面数据采集并建模已成为一种新的建模途径。本项目拟提出一种基于全数据的性能预测模型，该模型对云存储系统进行持续数据采集，结合云存储服务性能指标，分析并预测云存储系统级的性能和瓶颈。研究内容包括:1.利用集成的全数据建立自适应的反馈性能分析及预测模型。2.数据缺失和采集延迟情况下，劣质数据的检测与修复方法，以及延时数据的利用方法。

云存储是IaaS的重要组成部分，是大量云计算应用的基础。这些应用需要低成本、高性能且稳定的数据存储服务。云存储系统是一个多用户、分布式的大规模动态系统，如何对其进行评测及建模方法面临巨大的挑战。随着大数据相关研究的发展，复杂系统中数据的采集、存储和处理都有了突破。对复杂系统进行全面数据采集并建模已成为一种新的建模途径。本项目重点研究云存储系统性能度量和建模的问题。具体包括：1）提出了云存储系统分层性能监测和采集的方法，提出了一种云存储系统网络层性能监测和采集的方法，利用这些数据对云存储系统进行热点数据检测，故障检测等。针对公有云系统规模大，信息不对称的特点，提出了云计算系统可用性和可扩展性定量评估的方法。2）根据采集的数据对云存储系统进行建模和优化，提出了混合存储系统的能耗模型，针对云存储系统数据量大的特点，提出了两种高效的云存储系统数据审计方法。3）针对云存储系统性能分析的结果，分别在文件系统，元数据保存及介质管理等方面进行了云存储系统性能优化的研究。