自优化卷积神经网络及其应用研究

Relying on the availability of large scale databases and the massive computational resources, deep convolutional neural network (CNN) has been widely applied in the field of machine learning and computer vision. Based on the back-propagation algorithm, its parameters of the CNN are optimized by minimizing the objective loss function and gradually adjusting the weights and biases of the parameters. However, these existing CNN approaches may be difficult to further improve the discriminative capability of a neural network, due to not well employing the interaction relationship of visual information in the process of deep learning. Therefore, we will take advantage of the long short-term memory (LSTM) and the self-optimizing technology, study the interaction pattern of deep visual information, and then build the self-optimizing convolutional neural network (SO-CNN) model. The main research content includes: (1) the visual feature map optimizing algorithm based on LSTM; (2) high-level semantic information mining algorithm in a CNN; (3) self-optimizing convolutional neural network model based the interaction of visual information; (4) driving car environmental perception algorithm based SO-CNN. The research results not only have important theoretical significance, but also have broad application prospects in the field of computer vision (e.g., the environmental perception for car driving).

随着大数据的广泛应用及计算机运算能力的高速发展，基于卷积神经网络的深度学习算法在机器学习和计算机视觉领域得到了广泛应用。卷积神经网络通过最小化目标损失函数，使用反向传播算法不断调整参数权重和偏置，学习网络模型参数。但是现有的卷积神经网络，没有很好地考虑深度学习过程中的视觉信息交互关系，不能进一步提高卷积神经网络的辨别能力。因此，本项目将基于长短时记忆模型和自反馈机制，研究深度视觉信息内部的交互模式，构建自优化卷积神经网络模型。主要研究内容包括：（1）基于长短时记忆模型的视觉特征图谱优化算法研究；（2）卷积神经网络中的高层语义信息挖掘算法研究；（3）基于视觉信息交互的自优化卷积神经网络模型框架研究；（4）基于自优化卷积神经网络模型的行车环境感知算法研究。本项目研究成果不仅具有重要的理论意义，而且在行车环境感知等计算机视觉领域具有广阔的应用前景。

随着多媒体和网络通讯技术的迅猛发展，有效数据分析和处理技术需求与日俱增。于此同时，深度学习算法在模式识别和机器学习等领域得到了广泛的关注。本课题针对深度神经网络模型中的自优化算法和应用问题开展深入研究，其主要成果包括：在神经网络的自优化方面，不断地提取高层语义信息（如软标签、目标分割区域等），利用自反馈机制来指导网络模型的优化学习过程，进一步提高神经网络模型的辨别能力；引入基于长短时记忆模型的循环网络模块，不断挖掘有意义的知识信息，遗忘无意义的信息，以提升网络的性能；也可以构建面向特定困难问题挖掘的目标损失函数，自适应地发现并解决那些预测/判别中的困难问题，以实现端到端的神经网络模型优化。在神经网络模型间的交互优化方面，获取有意义的语义特征表示，在多个网络模型间交互传播学习到的经验知识，以同时优化多个神经网络模型；在任务间的递归交互优化方面，不断挖掘那些有意义的知识/模式信息，在相关任务间进行循环交互，并引入注意力机制，在同一个网络模型中实现跨尺度/跨任务间的优化学习。基于以上深度神经网络模型的优化理论和算法，主要在图像识别、深度预测、场景分割、图像恢复、人体再识别、目标识别和检测等问题上验证有效性，并取得了不错的效果。因此本课题深入研究深度神经网络模型的优化，为提升智能感知理解能力提供新的解决思路和理论依据，能够推动数据智能分析和信息安全等领域的进步。此外，该项目顺利完成了预期的主要内容和目标，共发表了27篇论文和公开1项专利成果。截止目前，所发表论文的Google引用次数累计达117次。