递归建模理论与方法及其在人脸分析中的应用研究

Inspired by recurrent connection in biological systems, and the facts of repeatability in learning and dependencies on temporal-spatial textures, in this project we will explore and develop the theories and methods of recursive modeling. By inheriting and developing deep learning, we will integrate traditional deep neural networks and iterative models into the recursive framework by re-understanding and re-modeling them from a new view, so as to provide theoretical supports for deducing new models and methods. In this project, we will investigate some key techniques of recursive modeling, which are listed as follows: (1) systematic modeling methods converting cascade and iterative models into recursive models; (2) recursive modeling of deep neural networks, especially for auto-encoder and convolutional neural network; (3) temporal-spatial recurrent representing and modeling of video sequences, and recursive embedding learning of cross-modality sequences; (4) robust training and early stopping of recurrent neural networks. We aim to develop the theories and methods of recursive modeling, and propose a series of learning models that will conforms to biological visual system. This project takes facial analysis as a specific application task, but all theories and methods proposed here are not confined to this task, and they can be generalized for many general pattern analysis tasks.

本项目启发于生物系统中神经元环式连接的工作机理，以及学习过程的重复性和时空纹理关联性等客观事实，探索和发展递归建模的相关理论和方法。通过继承和发展当前的深度学习理论和方法，本项目将从新的视角理解和再建模传统深层神经网络和迭代模型，以期望将它们纳入到递归这一范式下，从而为推演新的模型和方法提供理论基础。本项目旨在深入开展其关键性技术研究，研究内容主要包括：（1）从级联式和迭代模型转化为递归模型的系统化建模方法；（2）传统深层神经网络中的递归建模研究，特别是基于自编码机和卷积神经网络的递归设计方法；（3）视频序列的时空递归表示与建模方法，以及跨模态序列的递归嵌入学习问题；（4）递归网络中的鲁棒训练和早期停止问题。预期发展和完善递归建模的理论和方法，提出更符合生物视觉系统的学习模型。本项目以人脸图像分析作为特定的应用问题，但所提出的模型与方法不受限于这一问题，可以解决更多一般性的模式分析问题。

本项目针对学习过程重复性以及数据时空动态关联性等客观特点，深入探索和发展了深度递归建模理论与方法。通过继承和发展当前的深度学习理论，从新的视角理解和再建模传统深层神经网络和迭代模型，并统一到递归学习范畴，从而为推演新的模型和方法提供重要理论支撑。本项目深入开展了递归建模的关键性技术研究，主要研究内容及重要结果包括：（1）针对抽象序列操作数据，建立了从级联式和迭代模型转化为递归模型的系统化理论框架，克服了原有模型多阶段学习的孤立性、严格有序、恒定不变等局限性，解决了多操作、多任务层次上交互学习的序列化建模问题；（2）针对规则化的序列数据，构建了时空递归神经网络模型，解决了空域与时域的联合递归学习问题，并成功应用于视频序列表示；（3）针对非规则化的序列数据，提出了动态递归图卷积学习方法，集成了图卷积与动态系统的优势，解决了非规则化序列数据的深度建模问题；（4）针对递归网络训练问题，提出了分阶段式的训练及停止策略，并应用于递归模型学习。本项目以人脸图像分析作为特定的应用问题，但所提方法不局限于该问题，是具有普适性的方法。本项目如期完成预期的研究目标; 共发表学术论文39篇，其中在IEEE汇刊以及CCF A类会议发表22篇，一篇论文获IEEE情感计算汇刊最佳论文。在该项目的支持下，项目负责人获江苏省杰出青年基金支持，并入选国家高层次青年人才计划。