机器学习中的参数调整可视分析研究

Parameter tuning is very important in machine learning. Generally, parameter settings influence the performance of machine learning algorithms and systems. However, parameter tuning remains to be a bottleneck to develop effective machine learning systems because of the large parameter space and dependency among these parameters. To effectively optimize parameter settings, this work aims at developing a visual analytics approach to support interactive parameter tuning. In order to solve the problems of insufficient support to the machine learning process and uncertainty analysis, we mainly focus on studying the following three aspects: 1) interactive parameter tuning in data collection and preprocessing; 2) interactive parameter tuning in feature selection; 3) interactive parameter tuning in modeling and learning. Based on these, we analyze the uncertainty in each machine learning phase and use the analysis result to further guide parameter tuning.

参数调整是机器学习系统中至关重要的一步，参数取值会极大的影响系统的性能。然而由于参数空间大以及参数之间依赖关系复杂等一系列问题，参数调整始终是开发更加高效的机器学习系统的瓶颈之一。为了更加高效的进行参数调整，本课题拟利用可视分析技术研究并开发机器学习中的交互式参数调整可视分析方法。为了解决现有方法对机器学习整个流程的支持不完整，不确定性分析较少等不足，本课题将从以下三个方面进行研究：1）数据收集与预处理中的交互式参数调整；2）特征提取与选择中的交互式参数调整；以及3）建模与学习中的交互式参数调整。在此基础上，我们研究参数调整中每一阶段的不确定性并用其结果进一步指导参数调整。

参数调整和机器学习的可解释性对于机器学习系统至关重要，参数取值及模型的可解释性极大的影响系统的性能。然而由于参数空间大以及参数之间依赖关系复杂以及学习过程中模型决策过程难以解释等一系列问题，参数调整及其可解释性始终是开发更加高效的机器学习系统的瓶颈之一。为了更加高效的进行参数调整，本课题利用可视分析技术研究并开发了机器学习中的交互式参数调整可视分析方法。为了解决现有方法对机器学习整个流程的支持不完整，不确定性分析较少等不足。本课题从以下三个方面进行了研究：1）数据收集与预处理中的交互式参数调整；2）特征提取与选择中的交互式参数调整；以及3）建模与学习中的交互式参数调整以及可解释性。针对机器学习中模型算法决策难以解释这一难题，重点研究深度神经网络模型可视分析和集成学习模型的可视分析框架，提高了机器学习模型的可解释性。突破了机器学习模型可视分析关键技术，建立数据驱动和知识指导相融合的可解释机器学习理论框架，形成了模型隐变量可视分析理论与方法，显著提高机器学习模型的可解释性。在ACM/IEEE Trans和CCF A类会议发表录用论文12篇，累计1篇ESI热点论文（前0.1%，2018.5）和2篇ESI高被引论文（前1%）。其中发表在IEEE TVCG 2017的“Towards Better Analysis of Deep Convolutional Neural Networks”是可视化领域自2016年以来发表的4113篇期刊论文中WOS和SCI引用最高的论文。相关技术成果应用于军委科技委、阿里云机器学习平台PAI和快手等。申请人因在模型可视分析方面的创新工作，受邀担任CCF A类会议IEEE VIS (VAST) 2016和2017的论文主席，成为该会第一位来自亚洲地区的论文主席；担任CCF A类期刊IEEE TVCG副主编( 2019-至今)、编委（2015-2018），获2016最佳编委；担任CCF A类期刊Artificial Intelligence的编委；担任IEEE Trans. on Big Data和ACM Trans. on Interactive Intelligent Systems编委；2020年项目负责人入选IEEE Fellow和可视化名人堂（IEEE Visualization Academy）。