面向大数据的高性能网络带宽调度与传输控制关键技术研究

Many large-scale applications in different domains are generating colossal amounts of data, which must be transferred over long distances for remote operations. As the conventional best-effort IP networks are not adequate to meet such unprecedented data transfer challenge, high-performance networks (HPNs) featuring high bandwidth and advance reservation have emerged to be a promising solution to support these data- and network-intensive applications. The bandwidths in HPNs are typically time-shared among geographically distributed users, and the user-level throughput performance largely depends on the specific transport method being used, which necessitates the research on a holistic data transfer solution that combines both bandwidth scheduling (BS) in the network and transport control (TC) on the host. This project will develop a transparent and unified host-network interface that utilizes an event-driven control flow scheme for runtime adaptation in response to user, system, and network dynamics. We will design TC-aware BS algorithms to determine "when to transfer" under disparate network conditions and user requirements, and BS-aware performance-adaptive TC methods to determine "how to transfer" with different goals of throughput maximization and stabilization, both of which are seamlessly integrated in a unified framework. The completion of this project will result in a set of novel cooperative scheduling algorithms and transport protocols that can coordinate with each other between control planes and end hosts to optimize the overall network and application performance.

网络环境下的大规模数据处理应用需要海量数据传输，而传统的IP网络难以胜任。具有高带宽及带宽预留特点的高性能网络（HPNs）是一种公认的有效方案。然而，HPNs通常由不同地域用户分时共享，其数据传输性能严重依赖于主机传输协议。为此，迫切需要研究高效带宽调度和自适应传输控制方法。本项目旨在研究透明、统一的主机-网络接口，基于事件驱动控制流的用户、系统和网络实时运行参数动态调整与响应方法；研究传输控制感知的即时带宽和周期性带宽调度算法及其高效启发式算法，解决不同网络条件和传输需求下动态传输带宽分配，即"何时传"的问题；研究带宽调度感知、吞吐量最大化的批量数据传输协议和性能自适应的网络传输控制方法，解决"怎样传"的问题。项目探索将HPNs中带宽调度和终端系统中传输控制紧密结合、控制平面和终端主机之间互相协同工作的高效数据传输方法与协议，研究结果对高性能网络和海量数据科学应用的性能优化有着重要意义。

当今的大规模科学研究需要相互协作，需要整合国家乃至全球的分布式资源并协调多个部门来完成单个团体不可能完成的任务，各种科研和商业数据中心、高性能计算中心也迫切需要快速可靠的网络链接。传统互联网已经不能满足这些迫切的网络需求。近年来基于电路交换、MPLS/GMPLS隧道技术及SDN的高性能网络的出现，成为解决该问题有前景的方案，它是具有高带宽且支持带宽预留的计算机网络，它们的意义已经被越来越多的科学和网络研究团体认可。怎样提高网络利用率和满足不同的应用需求，支撑大数据下的网络应用，是摆在科研人员面前的迫切任务。项目组针对周期性带宽调度研究了基于固定时隙的带宽预留周期性调度问题，基于截至期限的带宽预留周期性调度问题，固定区间浮动时间期限的带宽预留周期性调度问题，可变时隙与带宽的周期性带宽调度问题，多条链路不相交多路径的调度问题，K>1条路径的最大带宽和问题，截止期限约束下的不同类型的批量大数据传输请求的周期性带宽调度问题。针对即时性带宽调度问题，项目组研究了多路径传输的时间优化问题，两条节点不相交固定路径的带宽调度问题，两条可变的节点不相交路径的带宽调度问题。更为重要的是将带宽调度和传输控制作为一个整体研究了自适应终端吞吐量估计的周期性带宽调度问题。针对这些问题，项目组对证明问题的难度为NP完全，同时提出相应的启发式优化算法，大量的实验数据表明提出的算法性能优于文献已有算法或其它的贪心算法。项目组提出的各个问题的算法可提高网络的带宽资源利用以及满足不同的用户需求，对支撑面向大数据的科研和商业应用有着重要的意义。