面向多媒体大数据的PDE学习理论与算法

In recent years, high-dimensional multi-source heterogeneous multimedia big data becomes a hot research topic in information science society. However, as most conventional data analysis methods directly use geometric quantities (e.g., distance and metric of the space) to establish the linear/nonlinear “geometric structure” for the data set, their performance and applications are greatly limited. Based on our previous research, this project intends to investigate the more intrinsic “differential structure” of multimedia big data. By incorporating data-driven learning strategies into partial differential equations (PDE) on Riemannian manifold, we develop a series of “PDE Learning” models for multimedia analysis. Specific research topics include: Building fundamental differential representations on manifold for high-dimensional data (foundations of PDE learning); Breaking the dependence of PDE on physical laws and designing PDE learning frameworks for multimedia pattern analysis (shallow PDE learning); Constructing PDE-based deep network for multi-source heterogeneous multimedia feature learning and providing preliminary theoretical analysis for network structure optimization (deep PDE learning). The implementation of our project will provide new theories and algorithms for multimedia big data analysis. In addition, the proposed models can be used as preliminary theoretical tools for other related areas (e.g., manifold learning and deep learning) and the related PDE learning ideas will also show some promising future directions for PDEs in low-level image processing.

近年来，高维、多源、异构多媒体大数据已成为信息科学领域研究的热点。传统方法大多直接利用空间距离、度量等几何量建立数据的线性/非线性“几何结构”，导致其性能和适用范围受到严重制约。本项目拟在前期研究基础上，将具有强大理论建模能力的PDE（即偏微分方程）与数据驱动学习策略结合，通过在黎曼流形上深入挖掘数据的内蕴“微分结构”，提出一系列基于“PDE学习”的多媒体大数据分析新方法。具体内容包括：建立高维数据流形微分表示（PDE建模基础）；进而打破传统PDE对物理规律的依赖，设计基于PDE的模式分析基本框架（浅层PDE学习）；在此基础上构建面向多源、异构数据分析的深度PDE网络并开展初步的网络结构优化理论研究（深层PDE学习）。本项目的实施将极大丰富多媒体大数据分析的理论和算法。此外，所提出的模型还可作为流形学习和深度学习等领域的理论分析工具，相关研究思路也将为传统图像PDE方法指出新的发展方向。

大数据时代的来临，推动了深度学习技术的发展，并带动了各类新兴产业的兴起。然而随着研究的深入，如何挖掘数据潜在规律，利用任务相关的知识，构建全新的数据驱动算法框架成为打破传统深度学习性能与适用范围瓶颈的关键。本项目围绕偏微分方程（PDE）展开研究，从最优化建模出发，通过引入知识+数据的设计模式，将任务驱动的物理规律与海量数据相结合，构建了一系列性能优异，适用范围广的新型数据驱动算法，并成功应用于多种真实图像处理问题。具体而言，在理论建模方面，本项目结合前期的PDE建模经验，设计了具有理论保障的新型数据驱动算法，从优化视角成功地赋予深度学习算法理论支撑，同时有效拓展传统深度学习算法的应用场景。在计算框架设计方面，本项目以具有理论保障的新型数据驱动算法为基础，面向多种不同的图像处理任务，提出结合知识与数据的统一算法框架，在最优解的搜索过程中融入深度网络以加速求解的同时打破任务特定的数据依赖。进一步地，在应用层面，结合上述研究经验，设计了面向特定复杂底层视觉任务的高效计算框架，在端到端的深度学习算法设计过程中引入任务特定的知识，有效提高了算法的适用场景。在本项目的资助下，研究成果发表于IEEE TPAMI，IEEE TIP，IEEE TNNLS，ICML，AAAI，IJCAI等国际顶级期刊和会议，其中两篇文章荣获计算机学会推荐B类，多媒体旗舰会议ICME 2018的最佳学生论文候选奖，已申请中国专利8项（其中3项已获批）。基于以上研究成果，团队面向无人驾驶等领域全天候高精度视觉感知需求，与北方自动控制技术研究所合作研发基于红外可见光多波段信号的多目立体视觉系统，参与2019年陆军装备部公开项目“车载多波段立体视觉感知单元设计与集成”实物竞标获得第一名。此外，2017年起连续三年在真实近海环境水下机器人竞技高端赛事“水下机器人目标抓取大赛”等国际级竞技赛事中获得多项冠军。