深度与宽度自适应的深度极端学习机模型研究

This project studies the combination of deep learning (DL) and Extreme Learning Machine (ELM), and aims to propose Deep Extreme Learning Machine (DELM) models and algorithms, which can keep the fast classification ability with ELM and high classification accuracy benefit from feature learning by DL. We will also extend DELM to handle classification, clustering, outlier detection, regression and so on. In theoretically, we will study the representation ability and function approximation ability of DELM based on the interpolation theory of function approximation theory. We will study how to automatically determine the depth (the number of layers) and width (the number of hidden nodes) of DELM, and realize the variable structure self-adaptive DELM.We will also develop a DELM algorithm system based on cloud computing techniques, which will be validated in real application problems. . We target to make breakthrough in algorithm and theory of combining DL and ELM, and enrich the machine learning theory and algorithm. In summary, we will apply and obtain the copyright of DELM system, and publish more than 20 high-level academic papers, in which more than 8 papers indexed by SCI and more than 8 papers publishided in top conferences.

本项目研究构建深度学习DL（Deep Learning）与极端学习机ELM（Extreme Learning Machine）相结合的深度极端学习机DELM（Deep Extreme Learning Machine）模型与算法，使之具有ELM学习分类速度快和DL自动特征学习提高分类准确率的特点，还具有除ELM分类外的其他机器学习功能，如聚类、异常发现、回归分析等功能。在理论上基于函数逼近论的插值理论研究DELM的表示能力和对函数的逼近能力。研究DELM模型的深度（网络层数）与宽度（隐层节点数）自动调节问题，实现变结构自适应DELM模型。基于云计算技术研制开发DELM机器学习系统并在实际问题中得到验证应用，申请并获得软件著作权。力争在DL和ELM结合研究方面取得突破，发表高水平论文20 篇以上，其中SCI 收录8 篇以上，重要的高水平国际会议8篇以上，丰富机器学习理论和算法。

总体目标圆满完成。研究了ELM网络同步训练问题，提出了如何通过稀疏化方法解决极端学习机隐层节点数过多，相应矩阵阶数过大，相应训练时间过长问题。系统地讨论研究了基于深度学习的机器学习算法，提出用于对话生成的机制敏感的深度神经机；提出基于对偶自动编码机深度表示学习算法；提出基于双编码层自动编码机的监督表示学习的迁移学习方法；提出基于流行正则化CNN的迁移学习方法；提出基于自适应核的大间隔多视图学习算法。研究深度学习模型的深度与宽度自动调节问题，实现变结构自适应深度学习模型。ELM具有两个明显的缺点：1）由Moore-Penrose广义逆求解的输出权重是容易过度拟合的最小二次方最小化的问题，2）ELM的精度受隐藏神经元的数目的严重影响，从而产生了规模很大的模型。稀疏贝叶斯ELM（SBELM）可以通过估计网络输出的边缘似然值并且在学习阶段修改大部分冗余隐藏的神经元产生准确而又紧凑的模型。为此我们开展了稀疏ELM研究很好地解决了该问题。在项目完成过程中，在国内外学术会议、刊物发表高水平论文发表论文29 篇，其中SCI 收录13 篇，在CCF A类国际会议上发表论文8篇，申请专利4项。丰富相关学术领域的研究成果。ESVM算法获得PAKDD2018最有影响的论文奖，在PAKDD2019、ELM2019国际会议上何清应邀作了特邀报告。本项目培养研究生2人获得博士学位，6人获得硕士学位。