并行子空间校正方法设计及其理论与应用

Distributed/parallel optimization is a frontier direction and research hotspot in the field of modern optimization. Different from the traditional serial optimization algorithms, the distributed/parallel optimization ones can be fully integrated with the parallel architecture of modern computers to efficiently solve the big data optimization problems through distributed storage and parallel computing, which have the features of data explosion and distributed storage. This project will study the parallel subspace correction method, which has obvious advantage and potential at the aspects of algorithm design and numerical performance in the area of distributed/parallel optimization. We will consider four points including solving the problem with non-separable non-smooth term, the accelerated technique, solving the constrained problem, and the asynchronous parallel technology. With analyzing the structure and the optimality condition of the problem, discussing the algorithm framework of this method, and combining the classical optimization techniques, we will solve several key issues such as the decomposition of the feasible regional, the technique for the global optimality condition, the step size strategy design, and the implementation of the asynchronous parallel computation. Consequently, this project will improve and enhance the theoretical convergence results of this method, expand its application range, and design and develop efficient distributed/parallel computing software packages. This project aims at the forefront of the science and technology in the world. Moreover, it is in line with the National Big Data Strategy of the China's 13th Five-Year Plan. Therefore, this project has important theoretical significance and practical value.

分布式/并行优化是现代最优化领域的一个前沿方向和研究热点。不同于传统的串行优化算法，分布式/并行优化算法可与现代计算机的并行架构完美结合，通过分布式存储与并行计算，实现高效求解大数据背景下数据集出现规模爆炸和分布式存储特点的优化问题。本项目选取该方向中在算法设计和数值表现上有明显优势和潜力的并行子空间校正方法作为研究对象，具体开展四个方面的研究工作：求解带不可分非光滑项问题；Nesterov加速方法；求解带约束问题；异步并行技术。本项目将通过研究问题的结构特点、分析问题的最优性条件、讨论该方法的算法框架、结合经典优化技术，解决区域分解的构造、全局最优性条件的建立、步长策略的设计、异步并行的实现等关键问题，完善和提升该方法的理论收敛结果，扩展其应用范围，设计和开发高效的分布式/并行计算软件包。本项目瞄准世界科技前沿，符合国家在十三五制定的“大数据战略”，具有重要的理论研究意义和实际应用价值。

分布式/并行优化是现代最优化领域的一个前沿方向和研究热点。不同于传统的串行优化算法，分布式/并行优化算法可与现代计算机的并行架构完美结合。本项目选取并行子空间校正方法(PSC)作为研究对象，通过研究实际具体问题的结构特点、分析问题的最优性条件、讨论该方法的算法框架、结合经典优化技术，解决带有TV项优化问题的区域分解构造算法并建立相关的算法收敛性理论，提出PSC的加速技术，突破带有约束问题的并发求解机制，建立PSC的异步计算基础，从而完善和提升该方法的理论收敛结果，设计和开发高效的软件包，尝试进行相关并行技术的实际应用。具体研究工作要点概况如下。第一，针对求解带有TV项的问题，重新构造了子区域满足的边界条件，在理论上给出了全局收敛性证明，根据上述理论分析设计实现了PSC-TV算法，提出伪互补测量的观测矩阵生成机制，初步形成MATLAB软件包。第二，针对光滑凸问题在非重叠分块情形下，提出基于Nesterov加速的PSC方法，得到加速的收敛速率，得到搜索步长的可计算性。第三，利用子区域边界的变量分裂技术，将带有TV项的优化问题进行目标函数水平拆分，设计了基于增广Lagrange函数的带有子空间校正过程的原始对偶变量交替更新方法(ALMPSC)，初步形成MATLAB软件包。第四，深入分析了并行数据算法中同步/异步计算机制，从并行子空间校正的非精确求解入手，设计了非精确并行子空间校正方法（PSCI），给出非精确子空间校正的可验证性、步长设计等理论分析，初步形成C+MPI软件包。第五，应用PSC方法中的并行程序设计框架去解决实际问题，主要包含SAR卫星多景联合定位以及人工智能测试技术。本项目按照计划执行，基本完成了预期研究目标，提出的相关并行子空间校正算法以及相关的并行技术框架具备实际应用价值。