基于深层神经网络的多模态快速稀疏表征器

Despite the recent progress in semantic multimedia analysis based on sparse feature representation, extracting sparse feature is still a time consuming process and is difficult to apply to multi-modalities situation. Due to the high non-linearity of the sparse-coding process, developing new mathematic algorithms to overcome the above two limitations is getting very difficult. Alternatively, in this proposal, based on the solid biological evidence that the human vision system also adopts sparse feature representation for natural visual data, we plan to develop deep artificial neural network based sparse feature representor to tackle the above dilemma. The representor solves the sparse-coding problem by performing simple feed-forward calculation, such that the feature representation process can achieve order-of-magnitude speed-up. Meanwhile, the representor allows multi-modality input by aligning and fusing different modality into joint sparse representation, such that it can handle some complex scenarios in typical large-scale image and video processing problems, including modality deficiency, off-synchronization, different spatio-temporal resolution, etc. Based on the developed representor, many novel applications can be well supported, such as modality deficiency robust feature representation, modality-invariant intrinsic feature extraction, visualization of low-level features, etc, which will dramatically improve the popularity of sparse feature representation technology in real-world, large-scale multimedia computing applications.

从多媒体数据中提取具有稀疏特性的特征表达尽管能够取得较好的语义分析效果，其仍具有计算量过大、难以支持多模态联合表征两个主要困难。由于求解稀疏约束条件的高度非线性，开发新的数学优化与融合算法突破上述限制变得越来越困难。课题组拟结合人类视觉系统在对自然图像信息表达过程中具有稀疏性这一生理学基础，采用人工深层神经网络模型开发快速稀疏表征器。该表征器支持以前馈方式直接快速"计算"输入信号的稀疏编码，实现特征提取速度超过一个数量级的提高。同时允许从多模态数据中进行跨模态对齐的稀疏表征，能够支持包括静态图像到动态视音频的大规模多媒体数据中常见的模态缺失、不同步、时空分辨率不匹配等复杂情况下的有效特征表达。在此基础上，衍生出一系列新颖的应用，包括对模态缺失状况的最优化处理、数据的模态无关性本征表达、抽象特征的可视化等功能，从而极大促进稀疏表征方法面向大规模复杂多模态数据的广泛应用。

从多媒体数据中提取具有稀疏特性的特征表达尽管能够取得较好的语义分析效果，其仍具有计算量过大、难以支持多模态联合表征两个主要困难。在本课题中，我们深入研究了如何在现有的深度网络中添加稀疏约束条件，构建了一种非卷机操作的深度网络模型，并在此基础上进一步研究了如何使用联合优化的方式，找到多个模型的联合特征表达方式。首先，我们提出了一种利用深度网络对L1稀疏编码的快速逼近方法，并以此为基础，采用线性编码操作替代了卷积操作，构建了一种新型的深度网络模型，在多个学术数据集上取得了显著的性能提升。在此基础上，我们研究了如何对多个模型进行有效的特征融合，提出了多种多模型融合策略，均取得了优于简单叠加多个模型的性能，并且进一步应用于跨摄像头重识别等问题，在极大地减少训练样本规模的同时，获得了不逊于全监督条件下所能达到的性能。这些理论成果，为后续的研究提供了新的参考和可行性。项目资助发表核心期刊论文14篇，顶级国际会议论文15篇。项目培养了硕士生8名（4名已毕业），博士生2名。项目投入经费82万元，支出80万元，剩余经费2万元，各项费用基本与预算相符合。剩余经费计划用于本项目研究后续支出。