支持大数据分析的优化理论与方法研究

Big data has captured the attention of researchers and engineers everywhere in recent years and has been made as a national strategy by more and more countries. The goal of big data analytics and processing is to extract the valuable information and discover the fundamental rule from potentially massive and complicated data. Many of big data analytics and processing problems can be formulated as optimization problems. However, it is very challenging to solve these problems because their dimension is significantly huge, their constraints are perhaps highly nonlinear and complicated, their condition is perhaps extremely bad, and sometimes their objective is even not explicit. This project aims at developing big data analytics oriented optimization theory and algorithms by judiciously taking the characteristics of big data (including massiveness, ultra-high dimensionality, streamingness, distributiveness, and heterogeneity) into account. In particular, this project will develop new theory and algorithms for large-scale optimization, distributed optimization, and sparse optimization, all of which will be used to probe the optimization problems driven by big data application, such as financial big data analytics, pulse wave feature detection, and pulse wave automatic diagnosis. As the team is quite strong in theory, computation and applications, this project is expected to make significant progresses in big data optimization theory, algorithm as well as applications. This project will strengthen optimization research and promote the techniques of big data analytics and processing in China, thus promoting China worldwide competitive in big data industry.

大数据既已是国家战略，也是国际前沿热点。从根本上来看，大数据分析与处理旨在从海量和复杂的数据中挖掘出有价值的信息，发现基本规律，以期发挥数据资源的最大效用，但因问题规模巨大、决策变量载息量丰富、约束条件极为复杂、没有明确的目标函数、问题严重病态等原因，对最优化方法提出了诸多挑战。通过分析大数据往往具有海量数据或超大规模、时变性、分布式、异构性等特征，项目旨在结合金融大数据、脉搏波数据，研究支持大数据分析所需的优化理论与方法，特别是大规模优化、分布式优化、稀疏优化等方面的理论与方法，同时试图建立一套适应金融大数据的求解算法，设计脉搏波数据特征提取与自动诊断的高效算法。项目队伍在理论、计算和应用方面均具有很强的实力，可望在大数据优化理论、大数据优化算法与大数据应用取得突破性进展。项目的实施不仅能促进优化方法的研究水平，也能提升大数据的分析与处理技术，进而加强我国在大数据等方面的国际竞争。

本项目以研究支持大数据分析所需的优化理论和方法为主要任务，系统完成了一系列大规模优化问题相关理论研究与算法设计并取得突破性进展，研究成果在金融、通信、能源等实践领域获得重要应用。项目在研究成果方面累计发表论文62篇，其中包括领域国际顶尖杂志16篇，顶尖会议2篇，出版学术专著2部，获得授权专利3项，在申请专利1项，获得软件著作权2项，研发了我国第一个具有国际化水平的混合整数规划求解器CMIP。项目组成员在项目执行期间获得多项科研奖励。项目负责人戴彧虹研究员在项目执行期间受邀将于2022年国际数学家大会做45分钟邀请报告，并将作为首位华人在第24届国际数学规划大会（2022，国际数学优化学会最大规模会议）做大会报告。.项目取得的重要研究进展和成果包括以下几个方面：.1）大数据优化理论方面。给出新的步长设计保证了BB方法的二次终止性；在约束极小极大问题理论与方法方面取得重要进展，将传统局部定义拓广到带约束问题中并给出了相应的一阶二阶最优性充分必要条件；回答了若干公开问题，其中包括整数规划里升维覆盖不等式的计算复杂度证明，可分连续背包多面体的分离问题困难性证明；载波数固定为二时的动态谱管理问题困难性证明；传统半定松弛在一定条件下对于一般MIMO检测问题的紧性证明。2）大数据优化算法方面。研究了一系列求解大规模优化模型的随机方法以及一阶梯度方法，并应用于机器学习、深度学习、大规模线性方程组求解、低秩矩阵完整化、低秩逼近等问题中并在数值实验中验证了算法的有效性。3）大数据优化应用方面。在金融大数据应用领域提出了一系列新的稀疏优化模型并设计了相应的求解算法；在通信大数据优化领域研究了非线性最小二乘模型、一类带有特殊结构的非凸复二次规划问题等模型的应用，针对模型所设计算法比当前最好求解器快三到四个数量级；在整数规划应用方面，研发了我国第一个具有国际化水平的混合整数规划求解器CMIP，并在求解器应用方面与国内知名企业之间成功开展了一系列的合作。