分布式定制化轻量级深度神经网络中的关键方法研究

Deep learning methods are popular to solve object detection problems. When facing multi-task scenarios, however, standard deep learning methods may not satisfy. Thus, a distributed structure, containing a cloud device and multiple terminal devices, is usually preferred. The cloud device is supported by a high-performance server with the GPU, which can assemble very complicated and deep neural networks. The terminal devices, however, can only establish efficient neural networks due to physical restrict. As a result, the key problem is how to build suitable structures for terminal devices with exploiting the advantages of the cloud device. Meanwhile, it is unavailable to consider how to allow terminal networks to learn optimal strategies when facing multi-task situations, and how the data collected by terminals to train cloud networks. .Based on the previous discussion, the project researches on efficient functions, mapping complicated networks on the cloud to efficient networks on terminals. For terminals networks, it is significant to endow them the capability of online learning, increasing flexibility when dealing with multi-task scenarios. Finally, the project studies the evaluation methods for distributed deep neural networks, to evaluate the performance of facing tasks, and the effectiveness of collected data, which are filtered and returned to the cloud as novel training data, ending up a positive circle.

深度学习是目前针对目标检测识别的主流方法，然而在面对一个多任务场景时，标准的深度学习方法无法满足需求，通常会采用一个分布式架构，包含一个云端设备和若干终端设备。云端以具有GPU的高性能服务器作为支撑，搭载复杂的深度神经网络，而终端由于物理条件限制，只能搭载轻量级深度神经网络。因此，如何在云端充分发挥服务器的优势训练网络，并适配于云端网络，是分布式框架的核心问题。此外，如何让终端网络在面对多任务场景时学习出最优策略，并利用采集数据优化云端网络，都是不可避免的问题。本项目基于上述问题，开展轻量级函数的研究，用来建立云端复杂网络到终端轻量级网络的映射；研究终端网络在线优化方法，提高网络的面对多任务场景的灵活性；研究分布式深度神经网络性能评价机制，用以衡量任务完成效果及数据的有效性，最终将有效数据反馈给云端网络作为新的训练数据，形成良性闭环。

深度学习是目前针对目标检测识别的主流方法，然而在面对一个多任务场景时，标准的深度学习方法无法满足需求，通常会采用一个分布式架构，包含一个云端设备和若干终端设备。云端以具有GPU的高性能服务器作为支撑，搭载复杂的深度神经网络，而终端由于物理条件限制，只能搭载轻量级深度神经网络。因此，如何在云端充分发挥服务器的优势训练网络，并适配于云端网络，是分布式框架的核心问题。此外，如何让终端网络在面对多任务场景时学习出最优策略，并利用采集数据优化云端网络，都是不可避免的问题。.本项目基于上述问题，开展轻量级函数的研究，用来建立云端复杂网络到终端轻量级网络的映射；研究终端网络在线优化方法，提高网络的面对多任务场景的灵活性。研究分布式深度神经网络性能评价机制，用以衡量任务完成效果及数据的有效性，最终形成符合强化学习框架的自学习机制。.本项目实现对网络结构的自动化压缩功能，可在不明显降低网络识别精度的前提下，最大限度的减少网络的层数以及每层的节点数，以最轻量的网络实现与原复杂网络类似的效果，从而使得网络能够部署在轻量化计算单元之上，降低终端单元的运算代价。