非独立同分布噪声下基于损失函数自适应选择的稳健机器学习方法

This project focuses on the theory and methods of robust machine learning with non-i.i.d. noises. The existing machine learning methods select loss function based on the i.i.d. noise assumption, and thus are less robust and effective to non-i.i.d noises in real applications. To this issue, this project plans to construct machine learning methods that are robust and effective to non-i.i.d noises based on adaptive loss function learning, develop corresponding theory and apply them to typical image and video processing problems. Specifically, (1) base on noise modeling and self-paced learning, we plan to develop models and methods for loss function learning with non-i.i.d noises; (2) for some typical tasks, we plan to develop robust and effective machine learning methods by the proposed loss function learning models; (3) by the proposed methodology, we plan to develop effective algorithms for some typical applications with non-i.i.d noises, such as hyperspectral image restoration and rain and snow removal in videos. The desired achievements will give build a full framework for loss function modeling with non-i.i.d noises, and thus provide a new solution for the robustness problems in machine learning. Besides, it also has wide applications in image and video processing, such as hyperspectral image restoration and rain and snow removal in videos.

本项目聚焦非独立同分布噪声条件下的稳健机器学习理论与方法研究。传统机器学习方法基于独立同分布噪声假设来选择损失函数，因而对实际应用中的非独立同分布噪声数据常表现出不稳健、不有效等问题。本项目拟基于损失函数的自适应学习策略，构造非独立同分布噪声下稳健高效的机器学习方法，解决其中的关键理论问题，并应用于典型图像和视频处理问题。具体包括：(1) 基于噪声分布建模和自步学习，建立针对非独立同分布噪声的损失函数学习理论与方法；(2) 将损失函数学习模型嵌入若干典型机器学习任务，设计构造稳健、高效的机器学习方法；(3) 针对高光谱图像恢复和视频去雨去雪等典型含有非独立同分布噪声的问题，应用损失函数学习策略构造新型有效算法。所获结果将建立起完整的针对非独立同分布噪声的损失函数建模新框架，为机器学习方法的稳健性问题提供全新的解决方案，同时可直接应用于高光谱图像恢复与视频去雨去雪等广泛图像/视频处理问题。

本项目聚焦非独立同分布噪声条件下的稳健机器学习理论、方法以及应用研究。在理论和方法层面，建立了较为完整的针对非独立同分布噪声的稳健机器学习框架；在应用层面，将所提出的方法论成功应用于广泛的图像与视频处理问题。主要研究内容包括如下四个方面：.(1) 非独立同分布噪声的损失函数学习理论与方法。从理论上建立了自步学习执行策略与稳健损失函数之间的联系，给出了自步学习在实际复杂噪声条件下有效的解释，为进一步的建模与算法设计提供了理论指导。针对实际问题中非独立同分布复杂噪声的特点，提出了一系列新的基于噪声建模的损失函数学习策略，显著提升了损失函数对于实际复杂噪声的适应性。.(2) 基于损失函数自适应的稳健机器学习方法。基于对自步学习的稳健性理解，针对标注噪声，提出了结合自步学习策略的Boosting分类算法，显著提升了现有算法的稳健性。进一步地，基于元学习策略，提出了一种更一般的自适应样本加权函数学习方案，有效提升了机器学习算法对于复杂数据偏差的计算稳健性。.(3) 对非独立同分布噪声下图像/视频处理典型问题的应用。将所提出的针对非独立同分布噪声的稳健机器学习方法论应用到了若干典型图像/视频处理问题中，取得了显著优于现有方法的性能表现。这些典型应用包括：低剂量CT图像重建、高光谱图像去噪、图像/视频去雨、红外图像小目标检测等。.(4) 复杂数据下的正则项设计。针对损失函数不足以完全描述的复杂的数据内在结构，尝试设计了几种新的正则项，从而更为精细地刻画了数据的本质先验知识，在多任务学习、高光谱图像处理等问题中取得了不错的应用效果。