面向深度学习应用的边缘计算执行框架与优化机制研究

With the development of deep learning technology and popularization of smart devices, it has become an inevitable trend to run deep learning application on smart devices. Due to the constraints of computing capacity and network transmission performance, existing computing paradigms based on stand-alone end-devices and cloud-based collaboration cannot meet the requirements for inference accuracy and real-time performance of deep learning applications at the same time. Therefore, a new execution model is needed to support the real-time and efficient processing of deep learning applications. To tackle this challenge, this project introduces edge computing technologies and branch network architecture to develop an edge computing execution framework for deep learning application, in which novel optimizations of model training, task offloading and task execution are proposed to implement efficient and real-time execution of deep learning applications. From the model-training perspective, appropriate places for different exit points of the model are investigated to improve the model partition scheme and the training results. Then, the novel task offloading mechanism based on heterogeneous performance preference is further researched to optimize the task offloading decision. Load of resources and requirements of applications are taken into consideration for both the cloud and end-devices to optimize resource-allocation and task-execution. Based on these research outcome, an edge-computing prototype system will be implemented to verify theoretical results and provide platform support for relevant deep learning applications.

随着深度学习技术的发展以及智能终端设备的普及，在智能终端上运行深度学习应用已成为必然趋势。现有基于独立终端以及云端协作的计算模式由于计算能力与网络传输性能的制约，无法同时满足深度学习应用推断精度与实时性的要求，为此需要一种新的执行模式支持深度学习应用的实时高效处理。为此本项目引入边缘计算技术，并利用深度学习分支网络的思想，提出面向深度学习应用的边缘计算执行框架。并在此基础上分别从模型训练优化、任务卸载优化以及任务执行优化三个方面入手，对面向深度学习应用的边缘计算执行优化关键技术进行深入研究，以实现深度学习应用实时高效执行。具体有：（1）研究深度学习分支网络模型训练机制；（2）研究面向异构性能偏好的任务卸载机制；（3）分别从终端与边缘端出发研究任务执行优化与资源分配优化机制。在此基础上开发支持终端深度学习应用的边缘计算原型系统，对相关成果进行验证并为深度学习应用实时高效执行提供平台支持。

随着深度学习技术的不断发展以及智能手机、智能摄像头和众多物联网设备等智能终端快速普及，在智能终端上运行深度学习应用已成为必然趋势。在这种模式下，智能终端实时采集周围环境以及用户行为等数据，并通过相应的算法对这些环境与用户数据进行挖掘分析，以实现终端设备的智能性。然而随着交互式及实时处理应用的不断增多, 对应用的执行性能提出了更高的需求。现有边缘计算执行框架及卸载机制还存在较大的局限性，仍然无法实现深度学习应用的实时高效执行。因此，本项目从终端深度学习应用的特征及需求出发，针对如何有效划分分支网络模型、如何实时推理任务个性化卸载以及如何根据资源以及性能情况划分资源三个主要问题，从面向数据与资源感知的分支网络模型自适应划分与训练机制、面向异构性能偏好的个性化任务卸载机制、基于GPU资源效用感知的终端应用执行优化方法、面向负载快速响应的边缘服务器资源分配优化机制等方面开展深入研究，并根据边缘框架下深度学习应用的整体需求设计并实现了支持终端深度学习应用的边缘计算原型系统。项目研究成果刊登在包括TMC、INFOCOM、ICPP、ICDCS等在内的国际国内重要期刊和会议上，共发表和录用高质量论文29篇，申请国家发明专利11项，编著团体标准1项。基于取得的理论成果，项目组承担了两项国家重大项目并将所取得研究成果成功应用到工业物联网以及智能制造行业中，通过促进科研、技术与社会产业融合，取得了显著的社会和经济效益。总体而言，通过研发和应用资源优化、个性化任务卸载关键技术，解决了边缘计算场景中“深度学习应用分支网络模型划分困难、无法实现细粒度个性化的任务卸载以及高效的任务执行与资源分配优化”等三大关键科学问题，所设计的系统也为边缘任务执行提供一个通用、快速、高效的执行平台，为实现边缘计算场景中任务的快速高效执行提供了技术保障。