深度神经映射支持向量机的新模型

Supprt vector machines are well-known methods for pattern recognition and machine learning, but now covered by the success of deep learning. Thus, it has become a matter of concern how to play the full potential of support vector machines in light of deep learning. In 2017, the applicant proposed deep neural mapping support vector machines formally in the international leading journal Neural Networks, which can theoretically approximate almost any support vector machine with arbitrary kernel function by using a deep neural network to directly approximate the kernel mapping. The core idea is creative and novel for research of support vector machines. Based on the new progress of deep learning, this project will add the network architectures of shortcut connections, convolutional layers and transfer modules to develop new models of deep neural mapping support vector machines, mainly including deep shortcut neural mapping support vector machines, deep convolutional neural mapping support vector machines, and deep transfer neural mapping support vector machines. The achievements of the project will not only further develop new models and new methods for support vector machines from the perspective of deep learning, but also be expected to overcome the problems of catastrophic forgetting in deep neural networks. In theory and application, this is of great significance to enhance the multi-task continuous learning ability of an artificial intelligence system, and promote the implementation of the national plan for the new-generation development of artificial intelligence.

支持向量机是著名的模式识别和机器学习方法，但目前已为深度学习的成功光环所笼罩。如何利用深度学习进一步发挥支持向量机的潜力，就成为一个值得关注的问题。2017年，申请人在国际主流期刊Neural Networks上提出了深度神经映射支持向量机，其核心思想是利用深度神经网络来直接逼近支持向量机的核映射，在理论上可以近似具有任意核函数的支持向量机，为支持向量机的研究开创了新思路。本项目将结合深度学习的新进展，通过引入跨连、卷积和迁移等网络架构，发展深度神经映射支持向量机的新模型，主要包括：深度跨连神经映射支持向量机、深度卷积神经映射支持向量机和深度迁移神经映射支持向量机。本项目的研究成果，不仅将从深度学习的角度进一步发展支持向量机的新模型和新方法，而且有望克服深度神经网络的灾难性遗忘问题，对增强人工智能系统的多任务连续学习能力、促进国家新一代人工智能发展规划的实现，具有重要的理论意义和应用价值。

支持向量机是著名的模式识别和机器学习方法，但目前已为深度学习的成功光环所笼罩。如何利用深度学习进一步发挥支持向量机的潜力，就成为一个值得关注的问题。2017年，申请人在国际主流期刊Neural Networks上提出了深度神经映射支持向量机，其核心思想是利用深度神经网络来直接逼近支持向量机的核映射，在理论上可以近似具有任意核函数的支持向量机，为支持向量机的研究开创了新思路。根据这一思路，本项目结合深度学习的新进展，通过引入跨连、卷积和迁移等网络架构，不仅发展了深度神经映射支持向量机的新模型，而且推进了深度学习的其他相关研究。目前,本项目已经发表学术论文29篇，申请发明专利8项，所取得的五项代表性成果分别是：1）提出了深度卷积跨连神经映射支持向量机的新模型, 2）提出了一种基于参数正则化和知识蒸馏的神经映射支持向量机, 3)提出了向量核卷积神经网络的新模型，4）提出了二维感知器的新概念，5）提出了深度神经网络的胶囊统一框架，验证了对深度学习进行图形化编程的可能性。其他主要成果包括：6）提出了一种深度循环神经映射支持向量机的新模型；7）提出了一种跨连卷积神经网络的融合框架；8）提出了一种模型参数的超约束增量学习方法；9）提出了一种基于改进YOLOv4-CSP的遥感图像任意方向目标检测方法；10）提出了一种p范数概率K均值聚类模型及非线性规划求解方法，等等。本项目不仅发展了深度神经映射支持向量机的新模型和新方法，而且改善了深度神经映射支持向量机在某些公开测试数据集上的分类性能，还有望克服深度神经网络的灾难性遗忘问题和增强人工智能系统的多任务连续学习能力，并有望通过深度学习的图形化编程平台在人工智能教育领域获得未来的应用，对促进国家新一代人工智能发展规划的实现，也具有重要的理论意义和应用价值。