面向机器学习任务的优化建模与算法研究

The optimization theory is to study how to obtain the optimal solution of an objective function under some constraints. Most of the tasks in machine learning and artificial intelligence can be formulated as optimization models. The essence of a machine learning algorithm is to establish optimization model, and optimize the objective function (the sum of loss function and regularization term), so as to get the best prediction model. This project intends to study optimization modeling and algorithms for machine learning tasks, the main research contents include: optimization modeling and algorithm analysis of clustering, design of network structure and optimization model of semi-supervised learning, optimization modeling of ordinal classification problem, design and analysis of second order algorithm for deep learning. The applicant has engaged in the study on optimization modeling method, algorithm theory and applications for many years, and has very good research accumulation in the field of data science and numerical optimization. The study on optimization modeling and algorithms for machine learning task is to be carried out and its expected results will have a good impact on the application area of big data and artificial intelligence.

优化理论研究的是如何求解目标函数在约束条件下的最优解。机器学习及人工智能中的绝大部分任务，都可以归约为求解一个优化模型。机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（损失函数与正则化项之和）进行优化，从而训练出最好的预测模型。本项目拟开展面向机器学习任务的优化建模与算法研究，主要研究内容包括：聚类优化建模与算法分析、半监督学习的网络结构与优化模型设计、有序多分类问题的优化建模方法、适合深度学习的二阶优化算法设计与分析。申请人多年来从事优化建模方法、优化算法理论及应用研究，在数据科学与优化计算领域已有较好的工作积累。拟开展面向机器学习任务的优化建模与算法研究，其预期成果必将对大数据和人工智能应用领域产生很好的影响。

本项目开展面向机器学习任务的优化建模与算法研究，包括无监督聚类、半监督学习和有序多分类的优化建模方法，深度学习的二阶优化算法理论等。主要研究内容具体包括以下四个方面：聚类优化建模与算法分析；半监督学习的网络结构与优化模型设计；有序多分类问题的优化建模方法；适合深度学习的二阶优化算法设计与分析。. 本项目经过四年的深入研究，在无监督聚类、半监督学习、有序多分类优化建模和深度学习优化算法等方面取得了一系列重要研究进展，包括若干有辨识度的研究成果，形成了多项关键算法软件。本项目组在学术期刊发表论文21多篇，顶会论文1篇，学术专著1本；获得授权发明专利3项，计算机软件软著权3项。. 上述理论成果表明，基于有效数学结构的深度学习算法具有更好的泛化性能和更高的鲁棒性。这些理论成果是人工智能与数据科学的基础理论研究前沿，兼具重要的理论和实践意义，值得进一步深入研究，保持国际同领域先进地位。基于本项目的研究成果研发了工业智能检测系统，面向流程型工业制造业，提供全栈式、自动化、软硬件一体化系统解决方案，保障我国高端智能制造领域的关键技术自主可控。. 项目组出色地完成了预期研究目标，特别是，在有效数学结构的深度学习理论方面取得了超预期的重要研究成果，为更高目标的“面向功能分析的智能化几何造型方法”研究奠定了坚实的工作基础。