面向图像序列的深度学习理论与方法

In the era of big data, it becomes an urgent problem to efficiently manage, analyze and retrieve massive image sequence data. As a new trend of machine learning research, the Deep Learning (DL) is able to automatically discover the patterns in the data, and thus it has received wide and significant attentions from both academic and industry, even leading to the born of the Big-Data-plus-Deep-Learning era. Although having made impressive progress in image intelligence analysis, the DL research is still under growing. It remains open and challenging problems to develop the theory of DL, to design deep networks, as well as to improve the learning and computational efficiency. This proposal addresses the key supporting topic “Deep Learning Theory and Methods for Image Sequence Analysis” in the Instruction of NSF 2015. We propose to study image sequence data analysis and mining problems using the state-of-the-art tools in statistical machine learning and pattern recognition. The topics we plan to explore include structural and adaptive deep learning networks, parallel and online optimization of deep networks, as well as image sequence data based knowledge representation and semantic understanding. Hopefully, this project will advance the theory and algorithm research in deep learning and provide technical support to the intelligent analysis, understanding and management of image sequence data.

在大数据时代背景下，如何对海量的图像序列据进行有效管理、分析与检索已经成为急需解决的问题。深度学习能够自主学习数据组中的关系模式，带来了机器学习的一个新浪潮，受到从学术界到工业界的广泛重视，也导致了“大数据+深度学习”时代的来临。尽管在图像智能分析中取得惊人进展，深度学习的研究仍然还处于初步发展阶段，在深度学习理论支撑、深度网络结构设计以及学习效率等方面亟待深入研究。本项目针对指南中信息科学部的“面向图像序列的深度学习理论与方法”重要支持方向，基于统计学习、模式识别等领域的最新研究成果，深入开展深度学习理论与方法研究，重点解决图像序列分析中的若干关键问题。主要研究内容包括：结构化和自适应的深度学习网络模型、深度网络的并行与在线优化、基于深度学习的图像序列数据知识表示和语义理解等。本项目的开展将有助于丰富和发展深度学习理论与算法，也将为图像序列数据的智能化分析、理解与管理提供技术支撑。

图像序列数据（如视频、卫星云图、遥感影像等）具有显著的时空相关和动态实时特性，虽然为进一步的分析与挖掘提供了丰富的可用信息，但由此带来的结构化语义关联问题又使其面临着新的挑战。如何实现海量图像序列数据的智能处理是一个亟待研究的新课题，其核心问题是自适应的特征表达、高效的模型设计与优化以及准确的视觉识别与理解。围绕该些核心问题，本项目组积极实施了资助计划书要求的研究内容，重点研究了稀疏学习及其网络分布式优化方法，以及图像序列关联表征的多种深度网络结构设计与学习模式，并开展了基于视频的目标检测与跟踪、遥感图像分析研究等应用研究，搭建了一套基于深度学习的图像序列分析演示系统。项目组目前已在国内外知名期刊发表（录用）论文98篇次，其中IEEE Trans 汇刊论文47篇,包括IEEE T-PAMI论文8 篇，在本领域重要的国际国内会议发表论文30篇次，其中NeurIPS、CVPR、ICML、AAAI、ACM MM等CCF-A类会议21 篇，合计发表论文128篇，完成了计划书规定的各项任务。在本项目资助期间，刘青山获得2018年度国家自然科学基金杰出青年基金资助，获评2019年度教育部特聘教授；项目组成员张天柱教授获得2020年度国家自然科学基金优秀青年基金资助，刘光灿教授获得2017年度吴文俊人工智能优秀青年奖；刘青山教授领衔的团队入选首批“全国高校黄大年式教师团队”，指导团队获得2016,2017年度国际著名的大规模视觉识别ImageNet竞赛多个任务的第一名，ACM Multimedia 2016最佳论文1篇，和PRCV 2018最佳学生论文奖1项等多项论文奖，指导研究生获得中科院优秀博士论文2篇（2017年度、2018年度），江苏省优秀博士论文1篇（2018年度）等多篇优秀论文奖。刘青山教授作为第一完成人获得2018年江苏省高校自然科学一等奖，作为第三完成人获得2018年度中国电子学会科学技术奖自然科学一等奖；项目组成员张开华（排名第三）获得2017年教育部自然科学奖一等奖，刘青山与张开华教授获CCF科学技术奖自然科学二等奖，项目组成员刘光灿（排名第二）获CCF科学技术奖自然科学一等奖。项目成果为面向图像序列的深度学习系统提供灵活的模型支持和快速的计算求解。基于深度网络的图像序列分析技术研究也促进了深度神经网络理论完善和应用拓展。