基于强化学习的数据中心网络自适应拥塞控制方法研究

In data center networks, the congestion control algorithms play a key role in providing efficient data transmission and improving application performance. However, current congestion control algorithms are facing performance issues. They cannot satisfy the performance requirements of different types of traffic, and encounter the incast problem. Although researchers have proposed many improvement approaches, there is one approach not yet been researched sufficiently, that is the adaptive congestion control. This approach dynamically adapts a congestion control algorithm to network and traffic conditions, improving transmission performance. A powerful way to adjust the behavior of a congestion control algorithm is modifying its critical parameters. The existing researches on this topic are still very rare and have a lot of shortcomings: 1) only one parameter is adjusted; 2) only heuristics or simple rules are designed which cannot achieve optimal performance; 3) multiple conflicting objectives cannot be optimized jointly. To overcome these disadvantages, we research on an adaptive congestion control method, which can support the adjustment of multiple parameters, can optimize transmission performance and balance conflicting objectives. However, it is very challenging to formulate the effect of a congestion control algorithm on the transmission performance. Therefore, we propose to leverage the recent reinforcement learning techniques to address the adaptive congestion control problem. Moreover, we propose a full suite of solutions, including theoretical method and system implementation.

在数据中心网络里，拥塞控制算法在提供高效数据传输和提高应用性能方面发挥着关键作用。然而，目前的拥塞控制算法面临着性能不佳的问题：无法同时满足不同类型流量的不同性能需求，和聚播问题。尽管研究学者已提出了很多改善方法，但仍有一种方法尚未得到充分的研究：自适应拥塞控制方法。这一方法通过动态调节拥塞控制算法使其适应网络和流量的变化，进而改善传输性能。调节拥塞控制算法的重要手段之一就是调节其关键参数。已有的相关研究还很少，且有很多不足：1）只涉及单个调节参数；2）只是启发式算法，无法最优化性能；3）无法同时优化多个冲突的目标。为了克服这些不足，我们将研究一种自适应拥塞控制方法，其支持多变量的联合调节，并以提高传输性能为优化目标，且能够权衡冲突的目标。然而，分析拥塞控制算法对传输性能的影响是个难题。对此我们提出利用强化学习技术解决自适应拥塞控制方法，并研究一整套完整的解决方案，包括理论方法和系统实现。

拥塞控制在提供高效数据传输和提高应用性能方面发挥着关键作用。本项目围绕自适应拥塞控制问题展开研究。我们主要研究了如何动态调节初始拥塞窗口，使得流传输时间最短，并且造成的拥塞最低。我们也研究了如何提高深度学习决策模型的运行效率，并维持预测的准确度。我们提出了一个基于深度强化学习的自适应在线控制方法，通过有效且高效的深度学习决策模型和自适应学习方法，在动态网络状况下，能够自主地、稳定地、快速地学习出最优控制策略。我们探索了提高深度学习决策模型运行效率的不同方法，为提升基于深度学习的拥塞控制方法的运行效率提供了理论基础。此外，我们将研究延伸至低时延应用的成本管理问题，提出了一种共享感知的在线任务卸载方法，使得每位用户的延迟要求得到满足，同时最小化所需服务器的成本。本项目研究有助于提升云计算系统和边缘计算系统中应用的传输效率和性能。