需求感知的分布式缓存网络的研究

The gap is growing between the urgent need for bandwidth of the backbone and the expensive expansion of the core network; bandwidth resource crisis is increased by the large-scale upgrade of users' access rate and the flush-crowd of 3G users. Traditional high-bandwidth based caching framework is incapable of dealing with this situation. In this project, we propose the research of demand-aware distributed caching network (DDCN) to deal with the problem. According to DDCN, backbone is employed to transport content, and edge caching nodes account for locally delivering content; by removing the redundancy in data transmission as well as the optimization design of caching network, it is capable of meeting the on-line data delivery needs in our country in next ten years. The main works in this research project include: to study the demand-aware model based on large-scale network measurement, to study the models and algorithms used to deduce the core-bandwidth demand from user requirements, and at last to study the optimization model which can make the whole caching network collaborate efficiently on transporting the predicted users' demands to their edge cache nodes.

内容服务商的对核心带宽的迫切需求与高成本的核心网扩容之间的差距越来越大；用户接入速率的大规模升级和3G用户的加入更加剧了核心带宽资源的需求危机；依赖既有的高带宽缓存架构无法从根本上解决这个问题。因此，本项目提出"需求感知的分布式缓存网络的研究"来支持大规模、高质量、具有商业模式的数据分发业务。在该研究中，核心网带宽用于备份内容的搬移，边缘服务器实现本地内容分发，通过在一定规划时间内去除冗余数据传输以及优化设计的缓存网络，将在未来十年内满足我国内容分发的需要。研究主要内容包括：基于大规模网络测量分析需求感知模型；研究从用户需求推断核心网带宽需求的模型和算法；研究从全局高度通过预先安排的办法将可预测的用户需求搬移到网缘去，并通过适当的抽象得到这类系统的理论模型。最终给出具有实际指导意义的基础设计模型。

用户需求感知和存贮边缘化，可以有效提高大规模数据分发系统的缓存效率，节省核心网络带宽，是分布式缓存网络研究的重要方向。课题组在国家自然科学基金面上项目（项目批准号：61271199）资助下，以降低核心网压力和提高缓存效率为目标，围绕大规模数据分发网络测量、用户行为分析、需求预测、边缘缓存节点选择、数据预先分发、多路径传输等方面展开研究，取得了系列研究成果，共发表SCI收录的学术期刊论文14篇（其中IEEE期刊5篇，包括IEEE Trans. ToMM/ToN/JSAC/TPDS）、国际会议10篇（包括GlobeCom、ICC），与国际知名机构/学者和业界(腾讯和PPTV)建立了深入合作关系。主要成果如下：.1) 大规模数据分发系统测量和需求分析：收集了超过10万用户一亿视频观看，建立了一套数学模型深刻揭示视频类型、持续时间、以及流行度的关系，定量给出了能承受Flash Crowd的最大强度。.2) 用户兴趣发现和需求预测：提出了一种新的在线视频系统用户观影行为汇聚方法，在大大降低特征维度的同时几乎不损失任何原有信息，降低了计算开销，提高了分类准确程度，并能够提高用户信息的预测精度。.3) 行为追踪和分类：提出了一种基于移动轨迹匹配的用户追踪系统，利用WiFi探测帧发现和识别用户，结合用户MAC和RSSI，将RSSI序列转换成用户移动轨迹。.4) 带宽需求推断和缓存节点选择：建立了云下载系统中用户与云应用交互的理论模型，提出了提高资源利用率的系统响应策略，从理论上给出了系统应通知用户和处理文件的最佳时刻。研究成果已经用于腾讯离线下载系统的优化。.5) 总体资源需求和缓存节点需求：提出了PAPA策略，通过选定合适的节点预先push一定量相应文件，解决系统服务器缓存能力和用户突发带宽需求的协调问题，降低服务器带宽压力。该研究成果已用于腾讯离线下载系统，节省超过30%服务器峰值带宽。.6) 最佳网络缓存构造:建立了分布式云存贮系统的通用成本模型。该模型能够分析当云平台承载的主要业务类型不同时，系统部署成本结构的变化规律，并求解出相应的最优部署策略。理论分析证明了我们提出的调度策略的优越性。.7) 多点传输模型的研究: 提出了基于多路径的实时视频传输机制，以满足实时视频通信的高带宽和低时延需求。该机制通过建立的最优化模型，用尽量小的冗余度满足视频帧的时延要求。