基于进化计算的卷积神经网络结构优化算法研究

Convolutional neural networks (CNNs) have demonstrated their exceptional superiority in visual recognition tasks, such as traffic sign recognition, biological image segmentation and image classification. Since LetNet-5 was proposed in 1989, which is an implementation of CNNs, various variants of CNNs have been developed, such as VGGNet and ResNet. These variants significantly improve the classification accuracies compared to the dominated algorithms in image classification tasks. Institutively, diverse variants of CNNs differ in their architectures. Therefore, the architectures of CNNs design should be carefully treated. However, designing an optimal architecture for a particular CNN requires rich domain knowledge on both the investigated data and the general data analysis domain, which is not necessarily held by the end-users. In addition, the problem of searching for the optimal architecture could be non-convex and non-differentiable, and existing accurate methods are incapable of well addressing it. Evolutionary computation (EC) approaches, particularly genetic algorithms (GAs), particle swarm optimization (PSO) and genetic programming (GP), have shown superiority in addressing real-world problems largely due to their powerful abilities in searching for global optima, dealing with non-convex/non-differentiable problems, and requiring no rich domain knowledge. However, most of existing EC methods currently work only on relatively shallow architectures, and cannot provide satisfactory results in searching for CNNs that typically have deep architectures. This project aims to investigate novel EC methods to automatically evolve reusable and competitive deep structures for CNNs by developing effective and efficient encoding schema, search mechanisms and optimization techniques. We expect the outcomes to lower the cost of utilizing the promising CNN techniques for researchers from various disciplines.

近年来，大量基于卷积神经网络的算法被提出，它们在大规模图像分类任务中表现出远远超越传统算法的优异特性。直观来看，这些算法的区别主要在于它们的网络结构。然而，网络结构的设计需要丰富的领域知识，以及对处理数据的深厚了解；然而卷积神经网络算法的使用者来自各行各业，并不一定同时具备这些背景知识。此外，卷积神经网络结构的优化是一个非凸并且不可微的优化问题，传统的基于数学的优化方法并不能够很好的处理该问题。进化计算方法由于强大的全局搜索能力、可以处理非凸和不可微的优化问题、以及对处理的问题不要求具备丰富的领域知识，而被广泛用于实际问题的求解。然而，当前的进化计算方法只能处理规模相对小的浅层神经网络结构的优化；由于卷积神经网络往往具备深度结构，而导致这些算法不能有效地用于卷积神经网络结构的优化。本项目拟将通过设计高效的编码方式、搜索机制、以及优化技术来提出新颖的进化计算方法，用于卷积神经网络结构的优化。

卷积神经网络模型性能强烈依赖其网络架构设计，在实践中网络架构通过由人工借助专家经验设计得到。然而这种方式效率低下，并且无法保证设计出的网络架构具备最优性能。自动化设计卷积神经网络架构可有望解决上述挑战，然而其本质上是一个非凸并且不可微的优化问题，传统的基于数学的优化方法并不能够很好的处理该问题。进化计算方法由于强大的全局搜索能力，可以处理非凸和不可微的优化问题、以及对处理的问题不要求具备丰富的领域知识，而被广泛用于实际问题的求解。然而，当前的进化计算方法只能处理规模相对小的浅层神经网络结构的优化；由于卷积神经网络往往具备深度结构，而导致这些算法不能有效地用于卷积神经网络结构的优化。本项目针对以上问题，通过设计高效的编码方式、搜索机制、以及优化技术来提出新颖的进化计算方法，用于卷积神经网络结构的优化。具体来说：（1）本项目提出了新的间接参数编码机制以及变长个体编码算法，以让进化算法利用较少计算资源即可编码百万级数量的参数，同时移除卷积神经网络最优结构的搜索上限，从而可以让进化算法找到卷积神经网络结构的全局最优解。（2）本项目提出了高效的全局搜索以及局部搜索机制用于巨大搜索空间内的求解；提出了可用于变长个体之间的信息交流机制，用于促进进化算法的全局搜索以及局部搜索能力。（3）提出了基于进化计算的卷积神经网络结构多目标优化算法，以此让使用者可以加⼊更多自身的要求，满足其多方面使用需要，使得本项目成果更贴近真实环境中的使用。项目负责人超额完成了项目预计的研究内容，在SCI一区期刊以及CCF A类国际会议上，以第一作者和通讯作者身份发表论文10篇，入围了2021年国家自然科学基金优青项目的会评阶段。