线性系统辨识核正则化方法的深入研究

Increasing demands on performance, efficiency, safety and environmental aspects are pushing engineering systems to become increasingly complex. These demands are in turn imposing increasing requests on mathematical models and modeling procedures, such as, the accuracy and robustness of model estimates, the efficiency, intelligibility and scalability of modeling methods (able to deal with large-scale structural constraints and big data). ..System Identification is about building mathematical models of dynamic systems based on observed input-output signals. It is a well-established topic in the field of automatic control and is also a basic tool in industrial practice. However, system Identification has largely been sticking to the maximum likelihood (or related) framework. In order to deal with the increasing demands, great efforts need to be done to absorb the essence of new techniques from other fields for pushing forward system identification methodologies. ..One such recent effort is the investigation of the so-called kernel-based regularization method. The kernel-based regularization method is widely used in statistics and machine learning for handling the bias-variance tradeoff and inducing sparsity. Recent results show that kernel-based regularization methods can outperform the standard ones for problems of model estimation and finding sparse solutions in System Identification...The purpose of the present project is to investigate some advanced topics on kernel-based regularization methods for linear system identification, such as kernel design for frequency response, analysis and design of hyper-parameter tuning methods, input design, and etc. We believe that the project is crucial for establishing a systematic framework for the theory and algorithms of the kernel-based regularization method in System Identification, and is also crucial for upgrading the theory and algorithms of System Identification in China.

我国当前正面临环境保护、节能减排的巨大挑战。目前的解决方案，比如各类智能基础设施，都依赖于高度复杂的基于模型的工程系统。在性能、效率、环保等方面不断增长的要求促使这些工程系统愈趋复杂，这些要求进而对于模型和建模方法提出了更严苛的要求。例如，模型的精确性和鲁棒性、建模方法的效率、可扩展性等。系统辨识是控制领域中发展出来的研究基于输入输出数据构建动态系统数学模型的研究领域。系统辨识目前的理论和算法框架无法满足对于模型和建模方法日趋严苛的要求，为解决这一矛盾亟需借鉴其他领域的新方法、新技术。一个最新趋势是利用核正则化方法来研究各种建模问题。最新的研究结果表明，在数据较短而且信噪比较低的情况下，核正则化方法可给出比系统辨识标准方法更精确、鲁棒的结果。本项目旨在研究线性系统辨识核正则化方法中的若干关键问题，本项目有助于建立系统辨识核正则化方法的理论和算法框架，推动系统辨识核正则化方法在国内的发展。

我国当前正面临环境保护、节能减排的巨大挑战，在性能、效率、环保等方面不断增长的要求对于工程系统的各个方面都提出了更高的要求，具体到系统辨识，希望能够利用待辨识系统的先验知识和更少的数据得到更精确、鲁棒的系统模型，进一步提高建模的效率等。由于传统系统辨识方法的先天不足无法满足这些日趋严格的要求，因此在本项目中我们提出了发展系统辨识的核正则化方法来满足这些日趋严格要求。本项目的主要研究内容包括核函数的系统设计与分析，超参数估计方法的分析与设计，核正则化方法的实验设计和复杂系统的结构检测等内容，分别取得了一些重要成果。在核函数的系统设计与分析方面，根据先验知识的类型，我们提出了基于机器学习观点和系统理论观点的系统设计与分析方法，不但利用先验知识设计了多种核函数，而且还分析了核函数的各种结构性质，例如稳定性，最大熵性，马尔科夫性，半可分性等。不但如此，我们还研究了输出核函数的半可分性，对于一类输入提出了线性计算复杂度的核正则化方法的算法，实现了核正则化方法高效计算的突破。在超参数估计方法的分析与设计方面，我们聚焦于经验贝叶斯方法，斯坦无偏风险估计方法，广义交叉检验方法等方法，研究了它们在几乎处处收敛意义下的渐近性质。在核正则化方法的实验设计方面，我们选取贝叶斯期望均方误差的标量度量作为输入设计的代价函数，提出了一种求解全局最优输入的输入设计方法。本项目出版核正则化系统辨识专著1本，国际高水平期刊论文10篇（其中Automatica 7篇，IEEE自动控制汇刊1篇，SIAM矩阵分析与应用1篇，国际控制杂志1篇）和会议论文10篇，专利1项。本项目解决了线性系统辨识核正则化方法中的若干关键问题，完善了系统辨识核正则化方法的理论和算法框架，促进了以核正则化方法为代表的系统辨识新范式的形成。