面向不完整信息的多视图数据表示、恢复与学习

Recently, most previous studies on multi-view learning failed in the case that several data in partial views are missing, which is inevitable in real applications. However, analyzing incomplete multiple view data is a challenging task for academic research and practical application. The project mainly exams the study of incomplete information-oriented multi-view data representation, recovery and learning from data recovery, structure recovery, and subspace learning perspectives, by incorporating multi-view learning, sparse and low rank learning, structure prediction, stochastic optimization as well as parallel computing, including (1) for robust recovery problem in multi-view data with partial value loss, we study robust multi-view matrix recovery via joint recovery-based multi-view representation; (2) for structure prediction of partial missing views, we study cross-view structure prediction by measuring cross-view related structure; (3) for incomplete multi-view dimension reduction, we study the adaptive online multi-view subspace learning. All the aforementioned methods will be validated in large scale image/video analysis. It is expected to publish 6-8 articles in top journals (e.g., TPAMI, TIP) and conferences (e.g., CVPR, ICML) as well as 3 patents applications.

在实际应用中，多视图数据缺失不可避免。而已有的多视图学习方法很少考虑多视图数据缺失的情况，因而针对信息不完整的多视图数据分析是学术研究和实际应用中所要面对的挑战问题。本项目从数据恢复、结构恢复以及数据不恢复三个角度出发，深入研究面向不完整信息的多视图数据表示、恢复与学习，结合多视图学习、稀疏低秩学习、结构预测、随机优化、并行计算等理论结果，（1）针对部分数值缺失的多视图缺失恢复问题，研究基于联合恢复的多视图缺失鲁棒表示；（2）针对部分视图缺失的跨视图结构预测问题，研究基于结构关联的跨视图缺失结构预测；（3）针对不完整多视图的维度约简问题，研究自适应的不完整多视图在线子空间学习。本项目将上述研究方法在大规模图像与视频分析中进行应用验证。本项目预期在国际重要学术期刊 IEEE TPAMI、IEEE TIP等，以及国际重要学术会议CVPR、ICML等上发表文章 6-8 篇，申报专利3项。

在实际应用中，多视图数据缺失不可避免。而已有的多视图学习方法很少考虑多视图数据缺失的情况，因而针对信息不完整的多视图数据分析是学术研究和实际应用中所要面对的挑战问题。本项目围绕不完整多视图学习理论与方法进行深入探讨，创新性地提出了一种基于稀疏低秩表示的缺失样本鲁棒恢复方法、一种基于组结构的多视图在线子空间学习方法、一种基于间隔的跨模态度量学习方法、以及一种强模态渐进引导下的跨模态级联迁移学习分割模型等一系列方法。同时，所提方法在大规模自然图像与医学图像分析应用领域（如多角度行为识别、异构人脸识别、目标跟踪、多模态脑疾病辅助诊断、影像学图像分割等）得到有效验证。围绕相应理论与技术，在重要国际学术会议和期刊（如 TNNLS, TCYB, JBHI, IJCAI, MICCAI等）上共发表期刊论文 7 篇和会议论文 4 篇，其中 SCI 收录 5 篇、EI 收录 10 篇、中科院一区 3 篇二区 1 篇、CCF-A/B 推荐文章 3 篇；培养博士后 1 名，联合培养博士研究生 1 名，培养硕士研究生 3 名；申请发明专利 3 项，获得软件著作权 2 项。此外，项目负责人获得2018年度江苏省科学技术二等奖（第四完成人）。