数据驱动的CDN边缘计算资源调度和部署机制研究

CDN is a typical representative of edge computing. Our partner-Wangsu company has grown into the second largest CDN provider in the world after Akamai. Wangsu company has accumulated a lot of operation log data. They urgently need to solve the three major problems of CDN real-time scheduling, resource long-term planning and QoS evaluation through big data analysis. CDN Resource real-time scheduling mainly focuses on hot content real-time updates and redirecting clients to select suitable PoP points. CDN Resource long-term planning mainly focuses on long-term planning of the main CDN node construction and cost-effective deployment. And CDN QoS assessment mainly focuses on QoS evaluation for scheduling and deployment of CDN service, and the evaluation results in turn optimize scheduling and planning mechanism. In the era of big data and artificial intelligence, data-driven and machine learning methods to solve the CDN scheduling and deployment become an important development trend. In the background, we propose data-driven CDN edge computing resource scheduling and deployment mechanism research, including evaluation model of CDN network service quality; real-time CDN service scheduling model driven by a small amount of data sample; long-term CDN resources planning driven by large amount of data. The research results will help to improve the development of CDN technology and provide key algorithms and basic models for CDN resource efficient scheduling, cost-effective deployment and QoS evaluation.

CDN是边缘计算的典型代表，我们的合作单位网宿科技已经成长为全球仅次于Akamai的第二大CDN服务商，网宿已经累计了大量的日志数据，公司迫切需要通过大数据分析解决CDN的实时调度、长期规划和QoS评估三大主要问题。实时调度主要是PoP的热点内容更新和实时重定向客户到合适PoP点，长期规划主要对CDN节点建设的高性价比部署问题，而QoS评估是对调度和部署后的CDN QoS进行评估，结果反过来优化调度和规划机制。在大数据和人工智能时代，使用数据驱动和机器学习方法解决CDN调度和部署问题是一个重要发展趋势。我们在该背景下提出数据驱动的CDN边缘计算资源调度和部署机制研究,研究CDN全网QoS的评估模型；少量数据样本驱动的CDN实时调度模型；大量数据样本驱动的CDN资源长期规划模型。研究成果有助于大力推动CDN技术发展，为CDN资源高效调度、高性价比部署和QoS评估提供关键算法及基础模型支撑。

常见的互联网应用已经从单纯的Web浏览全面转向以丰富媒体内容为中心的综合应用，丰富媒体内容的分发服务将占越来越大的比重，流媒体、社交网络、大文件下载、高清视频等应用逐渐成为宽带应用的主流。作为专门通过互联网高效传递丰富的多媒体内容的企业，内容分发网络CDN 运营商累积了大量的日志数据。随着人工智能技术的迅速发展，这些运营商迫切需要利用相关AI技术进行大数据分析。在这个背景下，我们展开研究了数据驱动的CDN边缘计算资源调度和部署机制相关的技术，通过大数据智能分析解决了CDN运营商需要迫切解决的调度，部署和评估等问题。在合作研究中，合作单位网宿公司是中国最大的CDN公司，他们提供了关键的CDN运营日志数据。其中第一类的日志数据采集了服务器运行时的硬件相关信息，每条日志记录高达312项特征；第二类数据以Cache组为单位，主要包括机器数据和网络数据两类。机器数据主要统计Cache组内服务器的硬件信息，网络数据主要统计Cache组内服务器的网络信息。在关键数据支持下，我们具体研究和验证了CDN服务质量机器性能数据的高效降维和关键特征选择技术、基于循环神经网络预测CDN服务质量的技术、少量数据样本驱动进行CDN服务的实时调度技术、大量数据样本下CDN高性价比资源规划技术，服务质量驱动的内容分发网络多边缘云优化部署技术，CDN和边缘计算环境下数据放置与索引技术、云边协同架构下的服务部署与任务调度等多项技术。在这些技术研究的基础上我们研制了多个模型和算法，并在合作单位网宿公司提供的实验环境中进行了原型系统的开发、集成、测试验证和进一步优化改进，获得了很好的效果。项目总体上产出了多项研究成果，包括发表了21篇SCI国际期刊论文（其中20篇1区或2区论文），1篇中文权威期刊论文，6篇EI 索引国际会议论文（其中4篇CCF B类论文）。申请11项专利,获得3项软件著作权，软件直接应用在网宿的CDN实际运行系统中，得到了很好的转化，起到应用示范效果。项目培养了14名博士和硕士研究生顺利毕业，4名博士生在读，培养了3名青年教师骨干。总体成果超过了原定的项目目标。项目的研究成果非常大力的推动了内容分发网络技术的发展，为内容分发网络资源的高性价比分配规划、高效实时调度和评估保障等机制，提供关键算法及基础模型的支撑。