基于进化多目标优化的模块化深度神经网络架构搜索研究

With the advent of the era of big data, deep learning has achieved rapid development in many application fields. With the deepening of deep learning research, deep learning models have become increasingly complex, posing great challenges to the design of deep neural network architecture. The development of an efficient deep neural network architecture search model and the establishment of related intelligent search methods become the main issues. This project plans to study these main issues, where the main research contents include: (1) establishing a cell-based deep neural network architecture search model for multi-objective optimization; (2) designing an evolutionary multi-objective optimization based deep neural network architecture search framework and its related genetic operators as well as decision-making methods; (3) developing a deep neural network architecture search platform based on GPU cluster, and using the image object detection and semantic segmentation problem to verify the proposed models and methods. The research of this project not only introduces new search models and related methods for deep neural network architecture search, but is also expected to provide a new high-performance computing model for evolutionary computation to solve complex multiobjective discrete optimization problems.

大数据时代的到来推动了深度学习在众多应用领域的发展。随着深度学习研究的不断深入，深度学习模型变得日趋复杂，对深度神经网络架构设计提出了极大的挑战。发展高效的深度神经网路架构搜索模型并建立相关的智能搜索方法是目前面临的主要问题。本项目针对这些问题进行研究，主要研究内容包括：（1）建立用于多目标优化的模块化深度神经网络架构搜索模型；（2）设计基于进化多目标优化的深度神经网络架构搜索框架及其相关的遗传算子和多目标决策方法；（3）开发基于GPU集群的深度神经网络架构搜索平台，并利用图像物体检测与语义分割的应用对所提出的模型与方法进行实例验证。本项目的研究不仅为深度神经网络架构搜索领域引入新的搜索模型及相关的搜索方法，同时也有望为进化计算解决复杂多目标离散优化问题提供一种新的高性能计算模型。

本项目研究基于进化多目标优化的模块化神经网络架构搜索，主要研究内容包括：面向进化神经网络架构搜索的模块化搜索空间模型、基于进化多目标优化的神经网络架构搜索算法框架，在图像语义分割等复杂视觉任务上的实例验证。具体而言，研究从搜索模型建立、算法框架研究、算法平台开发三个方面展开。在搜索模型建立方面，项目组建立了一种基于“相对关系”的模块化神经网络架构搜索模型，该模型比谷歌在2019年提出的AmoebaNet模型的搜索效率快7000倍以上，在CIFAR-10和ImageNet数据集上均取得了更好的分类正确率。在算法框架研究方面，项目组提出了一个高效、通用的标准化测试平台，该平台只需要0.05秒左右就可以在单核CPU上完成对1000个主流深度神经网络模型在ImageNet上的性能预测。在算法平台开发方面，项目组开发了一款面向实时语义分割任务的多目标神经网络架构搜索平台，该平台支持面向不同硬件设备的部署任务，可以自动搜索出匹配硬件性能的高效神经网络模型，在硬件设备功耗只有9.5瓦的华为昇腾Atlas 200设备上取得了与功耗为250瓦的英伟达2080Ti GPU相当的语义分割性能。在执行本项目的过程中，项目组取得了丰硕的学术成果。在论文发表方面，总计发表期刊论文24篇，其中13篇发表在《IEEE Transactions on Evolutionary Computation》、《IEEE Transactions on Cybernetics》、《IEEE Transactions on Neural Networks and Learning Systems》等计算智能领域权威IEEE汇刊上。在学术合作方面，项目组负责人还担任了《IEEE Transactions on Evolutionary Computation》等3个计算智能领域权威IEEE汇刊副编辑，并作为组织主席承办了第11届进化多目标优化国际学术会议，担任IEEE计算智能学会深圳分会主席。在学术获奖方面，项目负责人获得了IEEE计算智能学会全球杰出博士论文奖、《IEEE Transactions on Evolutionary Computation》期刊年度杰出论文奖、《IEEE Computational Magazine》期刊年度杰出论文奖。