广域网中动态存储转发大数据调度方法研究

Due to the time- and space-varying nature of the bandwidth usage in wide area networks, typical end-to-end data transfers fail to meet the requirements of bulk data transfers. Temporarily storing data at intermediate nodes at peak hours and forwarding them at off-peak hours, i.e., performing store-and-forward (SnF), is considered as a promising solution to overcome the challenges of bulk data transfers. However, the use of storage transforms the conventional spatial routing problem into a scheduling problem consisting of spatial routing and temporal scheduling. The problem size increases significantly with network scale as well as the number of intermediate storage nodes. On the other hand, network performance will deteriorate if bandwidth and storage resources are scheduled inappropriately. Thus, the fundamental issue of SnF is how to design a scheduling method, which can schedule the network resources efficiently. .We plan to achieve the following goals in this project: (1) formulate the SnF scheduling problem into a routing problem, and study the performance-complexity tradeoff from a routing perspective in order to explore a new scheduling methodology; (2) propose a single-path scheduling method by decoupling the SnF scheduling problem into the spatial and temporal components and solving them separately, realizing low complexity with maintaining good performance; (3) propose a multipath SnF scheduling method to reduce the resource burdens on a single path, and solve the multipath SnF scheduling problem in dynamic scenarios efficiently..The findings of the project will provide foundations for bulk data transfers in wide area networks.

由于广域网中带宽使用呈时空不均衡，使端到端传输难以满足大数据传输需求。在网络高峰期缓存、低谷期传输，即存储转发(SnF)“错峰传输”数据，能有效解决上述困境。然而，存储的引入使原空间路由问题变为包含空间路由与时间调度的二维问题，问题规模随网络规模和存储位置增加呈爆炸式增长。而不恰当地调度存储与带宽资源，反而恶化网络性能。因此，实现SnF的瓶颈在于，如何设计SnF调度方法，实现高效网络资源调度。本项目拟开展如下创新工作：(1)将包含时空二维的SnF调度问题转变为一维路由问题，从路由角度研究调度问题中性能-复杂度的折衷关系，为探索新的调度方法提供理论支持；(2)设计单路径SnF调度方法，对动态场景下调度问题时空解耦，降低复杂度并保持良好网络性能；(3)设计多路径并行SnF调度方法，缓解单路径资源压力，高效求解动态场景下多路径SnF问题。预期成果为解决SnF在大数据广域网传输中调度难题提供方略。

随着我国“东数西算”工程、“新基建”建设的加速推进，人工智能、大数据、云计算等新兴技术在社会各领域的深度融合，随之而来的是海量的跨地域大数据交互需求。这给我国现有网络基础设施提出了前所未有的机遇与挑战。提升我国广域网的大数据传输能力，不仅有助于提升我国科技竞争力，而且对国民经济增长、国家安全保障有着重要的现实意义。. 网络背景流量在时间和空间上均呈现不均衡性，使得传统端到端（E2E）数据传输方式难以满足大数据高带宽、长时间、远距离的传输需求。充分利用大数据延迟容忍特性，通过存储转发（SnF）错峰传输大数据，被认为是缓解上述E2E传输困境的有效手段。然而，SnF调度问题复杂度高，传统优化方法往往以牺牲调度性能为代价，降低问题复杂度，这成为制约SnF效能发挥的瓶颈。针对上述问题，本项目重点研究了：1）如何建立SnF调度问题分析模型；2）如何设计低复杂度、高性能的单路径SnF调度方法；3）如何将SnF与多路径并行传输机制有机结合。. 本项目的主要成果包括：1）利用时移多层图建立SnF调度问题分析模型，克服现有优化问题建模方法的不足，为突破现有方法中复杂度-性能折衷关系提供重要理论依据；2）提出了基于时空解耦的单路径SnF调度方法，通过将调度问题分解为空间路由与时间调度问题并分别求解，在降低复杂度的同时保持了良好调度性能；3）在此基础上，引入存储节点选择、链路状态融合、图卷积神经网络（GCN）预测等机制，从时空两维进一步简化问题的求解难度；4）提出了基于不同流量分配策略的多路径SnF调度方法，实现根据网络当前拥塞状况，自适应调整路由与流量分配，最终在缩短传输时间与节省网络资源两个目标之间达成动态平衡。本项目进一步探索新方法、新领域、新场景，实现了多播SnF调度方法、SnF辅助的光上行计算任务卸载方案、双机器学习辅助存储带宽资源分配与优化方案。. 本项目发表/录用论文20篇，国际学术会议报告11次。研究成果先后获得IEEE HPSR 2020最佳论文奖、第十五届福建省自然科学优秀学术论文二等奖。本项目提交国家发明专利申请4项，培养在读硕士研究生11人。