自动机器学习中神经网络结构搜索过拟合问题的研究

Deep neural network design is a knowledge- and experience-intensive task. Automated machine learning (AutoML) provides end-to-end AI solutions to various tasks and reduces the demand for experienced human experts. This project aims to investigate the neural network architecture overfitting problem in AutoML to enhance the generalization ability of network architecture search (NAS). The search space of NAS grows exponentially with the depth of network architecture and the number of operations, which directly induces the network architecture overfitting problem. First, this project will investigate the search space compression problem on specific task. Then, we try to get the general search space compression solution on various tasks. Finally, this project will be deployed on Clouds to provide AI solutions and empower all walks of life. It is the first time that the concept of architecture overfitting has been proposed in AutoML and this project further proposes a general searching space compression method to expand the application of AutoML.

深度神经网络模型的设计对于专业知识和经验有非常高的要求，同时也需要大量的人力投入进行算法的试错。自动机器学习为各种任务提供了端到端的智能解决方案，解决了资深人工智能专家短缺的问题。本项目旨在研究自动机器学习中神经网络结构搜索过拟合问题以增强最优网络结构的泛化能力。神经网络结构搜索空间随着神经网络深度和算子个数以指数级增长，巨大的搜索空间是导致网络结构过拟合的主要原因。本项目将首先研究基于先验知识的特定任务上的搜索空间压缩解决方案。在此基础上，本项目进一步研究通用任务上的搜索空间压缩解决方案。最后，本项目将作为组件部署到云端为各行各业提供端到端智能解决方案。本项目的创新之处在于首次提出了网络结构过拟合问题，并且通过压缩搜索空间解决局部优化和过拟合问题，从而提高自动机器学习的应用范围。

基于深度神经网络模型的人工智能应用的开发需要数据采集、模型结构设计、模型训练、模型部署等步骤，其中模型结构设计与模型训练对于专业知识和经验有非常高的要求，并且通常需要多次试错尝试才可以达到可应用的程度，因此导致人工智能应用的开发成本巨高不下，导致其无法大规模应用推广，尤其在工业场景等细分领域。鉴于此，本项目重点研究神经网络模型结构的自动化设计与自动化训练解决方案。针对网络模型结构的自动化设计解决方案，本项目提出了针对卷积网络和图网络的通用自动化模型结构搜索解决方案，并利用跳线与算子交替式搜索算法压缩搜索空间以解决网络结构搜索过拟合问题。针对网络模型自动化训练解决方案，本项目重点研究了损失函数优化的问题，通过将损失函数因子解耦化，并构建基于代理数据的强化学习范式，实现跨模型结构的损失函数最优化选择，并在图像分割任务上进行了验证。本项目共发表SCI论文四篇，其中两篇CCF-A类期刊、一篇CCF-A类会议论文、一篇CCF-B类期刊;培养研究生五人。