广域网面向预留带宽的大数据高速传输协议研究

With emerging computing and networking technologies, big data is arriving from multiple sources at an alarming velocity, volume and variety. In order to meet the high bandwidth requirements of big data transfers, many service providers or organizations provide users with dedicated bandwidth resources. But the existing data transfer protocols cannot make full use of dedicated bandwidth for big data transfer. In order to improve the application throughput and network bandwidth utilization, the project will analyze the common characteristics of big data transfer over wide area network, and introduce an innovative network control model to decouple the reliability and congestion control, a novel response mechanism to quickly detect network congestion, and an independent retransmission control system to retransmit the lost packets at an maximum rate without adding extra receiving cost. The project will also construct a throughput stabilization mechanism to guarantee that the packets arrival rate is stabilized at an optimal value, and a system monitoring and prediction mechanism to quickly detect or predict system congestion. The project will utilize queuing network model to predict the system bottleneck rate, and send it back to the sender for further consideration.

随着计算和网络技术的发展，大数据的来源变得更为广泛。为了满足大数据传输较高的带宽需求，许多运营商或机构为用户提供独享的带宽资源。但现有的数据传输技术却不能充分利用独享资源进行大数据传输。为了提高应用程序吞吐量和网络带宽利用率，本项目分析广域网大数据的传输特征，构建面向独享带宽的数据传输控制模型，解耦数据传输和可靠性，使数据重传不影响正常数据的发送；引入新颖的网络拥塞响应机制，快速响应网络的拥塞变化；引入单独的重传控制系统，在不增加重传成本的条件下最大速率地重新传送丢失的数据；构建稳定的数据传输控制机制确保数据包以稳定的速率到达接收方；构建系统事件监控和预测机制，快速响应系统的拥塞变化；利用队列网络模型对数据的接收过程建模，预测系统的瓶颈速率。

随着计算和网络技术的发展，大数据的来源变得更为广泛。为了满足大数据传输较高的带宽需求，许多运营商或机构为用户提供独享的带宽资源。 但现有的数据传输技术却不能充分利用独 享资源进行大数据传输。为了提高应用程序吞吐量和网络带宽利用率，特提出并开展本研究。..本研究从以下方面展开：（1）深入研究随机逼近的原理和规律，建立大数据传输协议的成本模型、流量模型，并在此基础上，建立面向独享带宽的大数据传输模型, 解耦数据传输和可靠性，使数据重传不影响正常数据的发送；（2） 在数据接收方，监控并预测系统事件，利用队列网络模型分析存储设备、CPU负载情况的变化，计算系统的瓶颈速率，并反馈给发送方； (3) 在数据发送方，预测网络的可用带宽，并结合接收方返回的系统瓶颈速率，调整数据的发送速率；(4) 数据发送发稳定传输控制确保数据包以稳定的瓶颈速率到达目标或接收方，而重传控制则在不增加重传成本的条件下最大速率地重新传送丢失的数据。 ...通过本研究的开展，取得了以下研究成果：建立了大数据传输模型，并构建了一个大数据传输系统；设计了多种大数据传输性能优化相关的算法；在相关领域的知名国际会议上发表学术论文4篇，通过项目培养或者协助培养了7名硕士研究生，已经毕业4名。