低质量多模态生物特征融合算法及其应用研究

Multi-modal biometric fusion algorithms aim to improve the classification or clustering performance by optimally integrating different modal information. However, existing multi-modal fusion algorithms: 1) cannot handle low quality data where some modals are absent or noise; 2)donot well consider the correlation between modals. To address these issues, this project intends to focus on the research on low quality multi-modal biometric fusion algorithms and their applications, aiming to enable their ability in dealing with these applications. Its research contents include: 1) classification algorithms with absent modals; 2) classification algorithms with noisy modals; 3) clustering algorithms with absent modals; 4) clustering algorithms with noisy modals; 5)multi-modal clustering algorithms with matrix-induced regularization. The theoretical analysis and implementations in this project can promote the development of theoretical research on multi-modal fusion algorithms, help to remove the application barriers in the presence of absent or noisy modals, and further broaden its application prospects. Some preliminary research results has been published at IEEE TPAMI, IEEE TNNLS, IEEE TIP, PR, CVPR, ICCV, AAAI, which has laid a solid foundation for the research work of this project.

多模态生物特征融合算法有效地集成来自不同模态信息以达到更好的分类或聚类性能。然而，现有的多模态融合算法：1）不能有效处理低质量多模态数据，即含有缺失或噪声模态；2）没有充分考虑模态间的相关性。为解决上述难题，本项目拟开展低质量多模态生物特征融合算法及应用研究，以增强多模态融合算法在处理这些应用上的能力。其主要研究内容包括：1）缺失多模态分类算法；2）噪声多模态分类算法；3）缺失多模态聚类算法；4）噪声多模态聚类算法；5）矩阵范数正则化多模态聚类算法。本项目关于低质量多模态生物特征融合算法的理论分析与算法实现，可推动多模态融合算法的理论发展，有助于清除它在低质量模态数据情形下的应用障碍，并进一步扩大其应用前景。部分前期已发表于IEEE TPAMI、IEEE TNNLS、IEEE TIP、PR等国际著名期刊及CVPR、ICCV、AAAI等国际顶级会议的研究成果为本项目的顺利展开奠定了坚实基础。

来自现实问题的数据往往是低质量的（缺失、不完整、带噪声），并呈现多样性、多模态的特点，多视图、多核聚类与学习以及信息融合是处理这种数据的常用方法。本项目在研究现有方法的基础上，针对低质量数据带来的问题提出了相应求解算法，优化或改进了现有算法和相关算法。我们提出了三种新型缺失多核学习算法、动态填充缺失多核聚类算法、局部化的缺失多核k均值算法、非完整多视图一致聚类方法、带噪声多视图数据聚类算法、同时聚类与优化的聚类算法、聚类与缺失数据填充的融合、高效端到端离群点检测方案、最优邻居多视图谱聚类算法、快速的可扩展的谱聚类算法、基于邻居核的多核聚类算法、全局与局部结构对齐的框架、识别异常宫颈细胞完整框架、融合不完全多视图聚类算法、后期融合的多视图聚类算法、后期融合非完整多视图聚类、带特征融合的地标图像检索、数据聚类与项目推荐的融合。我们既考虑了宫颈细胞图像那样的生物特征，也兼顾了其他类型的数据。所提新方法有的从理论上证明了其优越的性能，更多的通过在公认数据集上与已有代表业界水平的方法的充分比较证实了其突出表现。我们的研究涉及多核学习等基本概念、基本理论和基本方法，丰富了有关基本方法的体系，促进了有关求解算法的应用，具有重要的科学意义和广阔的应用前景。项目的研究成果已部分应用于医学图像分割、异常宫颈细胞识别、目标/图像/视频检索、视频异常检测、复音事件检测、移动位置识别、大规模聚类/学习、在线决策、智能投顾，并有或多或少的性能提升。发表的47篇论文获国内外同行广泛引用和高度评价，并被进一步发展。我们的许多代码都公布在网上供同行免费使用，获他们的充分认可，颇具社会效益。在MICCAI 2018上，应用项目成果自主研制的三个创新系统在大会举办的手术导航竞赛、数码病理学细胞分割竞赛、多器官细胞核分割竞赛中分获两个第2、一个第6的好成绩。参赛的518支高水平代表队来自十余个国家。