数据驱动的网络传输机制研究

With the extensive application of the Internet and the prosperity of various upper-layer businesses, the heterogeneity and complexity of networks are gradually increasing. The thin waist of the network architecture-TCP transmission protocol can hardly support the further development of the network. The rise of data-driven technology provides a new opportunity to solve the adaptive decision-making problem of complex and changeable network systems. However, the network transmission is faced with the challenges of data acquisition, model representation and policy evaluation. Data-driven methods are difficult to apply directly. This project studies the application of data-driven key technologies in network transmission optimization, including: 1) Studying the data-driven approach with view of global data field, the inference and representation mechanism of high-dimensional structured decision variables, and the efficient feedback of strategy performance evaluation mechanism, and building a data-driven platform with standard datasets, shared evaluation environment and benchmark algorithms; 2) Studying three distinct and representative problems in data-driven networks, and applying the above theoretical results to propose a multi-objective congestion control algorithm based on reinforcement learning, live streaming QoE optimization algorithm and data center network topology reconfiguration algorithm based on deep learning, and ultimately enhance the transmission performance of the above three network systems in a real network environment, and provide highly efficient data-driven solutions for the typical network transmission problems that are urgently needed to be solved in the industry.

随着互联网的广泛应用和各种上层业务的繁荣发展，网络异构性和复杂性日益增强，网络体系架构的细腰—TCP传输协议,已难以支撑网络进一步发展。数据驱动的兴起，为解决复杂多变的网络系统自适应决策提供了新的机遇。然而，网络传输面临数据获取、模型表示、策略评估等挑战，数据驱动方法难以直接应用。本项目研究在网络传输优化中应用数据驱动的关键技术，具体包括：1）从理论上研究具有全局数据视野的数据驱动方法、高维度结构化决策变量的推断表示机制及高效的策略性能评估反馈机制，构建具有标准数据集、共享评估环境和基准算法的数据驱动平台；2）研究数据驱动网络中三个迥异且具有代表性的问题，应用上述理论成果，提出基于强化学习的多目标拥塞控制算法、流媒体直播QoE优化算法以及基于深度学习的数据中心网络拓扑重构算法，最终在真实网络环境中提升上述三个网络系统的传输性能，为工业界亟待解决的典型网络传输问题提供高效的数据驱动解决方案。

随着网络技术的快速发展和应用需求的日益复杂化，数据驱动优化技术（以深度学习为代表）成为网络传输领域研究的热点。本项目以数据驱动理论模型为指导，利用系统实验分析为手段，成功解决了数据驱动方法在网络传输领域中面临的难点问题，推动了网络传输优化技术的创新。此外，本项目针对流媒体直播、多方实时交互和云数据中心等典型场景下的网络传输问题，提出了创新性的解决方案。. 本项目为期三年，根据拟定的研究目标和计划，开展了广泛的技术创新，圆满完成了各项研究任务，达到了预期研究目标。主要成果有：1）提出了网络样本自动生成技术以及面向分布式训练传输架构的新型传输技术等，解决了数据驱动传输的数据样本获取难、训练平台性能瓶颈等问题。2）设计并实现了面向多目标网络性能需求的网络传输机制训练平台，为广大科研人员提供了基于数据驱动的网络传输验证平台；提出了新型时敏传输协议，降低了应用传输时延，大幅提升用户体验。3）提出了基于强化学习的自适应码率优化方法，设计了一套低延迟直播流媒体传输仿真器和播放系统，应用于多人连麦、在线直播互动等流媒体应用中，极大降低了流媒体的卡顿率，提升了直播及应用交互体验。4）提出了基于机器学习的网络交换共享缓存管理方案和数据中心间网络流量调度方案，实现了数据中心网络中流完成时间和带宽费用的大幅降低。. 本项目共发表高水平论文30篇，其中在SIGCOMM、INFOCOM、OSDI、ToN等CCF-A类会议及期刊中发表学术论文16篇，并获得了APNet Best Paper奖；申请了发明专利10余项；培养博士和硕士研究生30余人，其中1人荣获中国通信学会2022年度优秀博士学位论文称号。智能传送训练平台成果发布于python的软件仓库pip，下载近十万次，利用上述平台主办了两届国际流媒体技术竞赛，累计200余支国内外队伍参赛。低时延传输研究项目相关成果获2020年华为公司合作优秀成果奖。此外，项目负责人获得2020年长江学者特聘教授。