多尺度高斯过程模型及其学习曲线研究

近年来高斯过程（GP）模型在机器学习领域受到关注，本课题针对GP模型之不足，借助小波分析理论构建一种全新、普适的多尺度高斯过程（MGP）模型，使之具备多尺度表示功能，同时适合用来表示非平稳时间序列；且具备泛化能力强、计算速度快等优点。在构建过程中拟解决多尺度协方差函数的数值计算、确定尺度参数的最优值等关键问题。推导MGP模型学习曲线公式并研究其渐进性质；推导学习曲线的单点上界公式。研究学习曲线的逼近，并定量比较单点上界与逼近间的紧致度，以便全面深入揭示MGP模型泛化性能的内在规律，使模型在理论上更完备，从而给机器学习研究提供一个崭新的基本框架，为把众多学习方法统一纳入到该框架下提供一种可能。探寻MGP模型的应用领域，深入分析模型预测非平稳时间序列的机制，开辟非平稳时间序列预测的新途径。实现基于MGP模型的短期电力负荷预测，并定量比较MGP模型、GP模型和支持向量机等三种方法的预测结果。

高斯过程（GP）模型近年来在机器学习领域受到关注。但传统的GP模型存在一些不足，例如无法对时间序列进行多尺度表示，不适合用来表示非平稳时间序列，泛化能力还需进一步提升，运算速度还需进一步加快等。本课题针对GP模型以上之不足，借助小波分析理论构建了一种新的、普适的多尺度高斯过程（MGP）模型。进而推导出MGP模型的学习曲线及其单点上界，深入揭示模型泛化性能的内在规律。最后将MGP模型用于非平稳时间序列预测，以此展示其优越的性能和良好的应用前景。课题执行顺利，所做研究工作及取得科研成果概括如下：（1）构建出了MGP模型，该模型具备多尺度表示功能，能自动选择最优尺度，同时适合表示非平稳时间序列，并且具有泛化能力强、计算速度快等特点，从理论源头上克服了传统GP模型之不足。（2）推导出了MGP模型学习曲线的表达式并进行数值仿真实现。所谓学习曲线是指模型的泛化错误随学习样本数变化的曲线。根据学习曲线能判断MGP模型欲达到指定的泛化能力需要具备多少学习样本，因而能深入揭示模型泛化性能的内在规律。（3）推导出了MGP模型学习曲线的单点上界公式并予以仿真实现。研究了学习曲线渐进性质，比较了学习曲线逼近与单点上界间的紧致度。上述研究不仅有助于掌握学习曲线的变化规律，而且有助于从更多层面来认识MGP模型这一全新的学习方法，使得MGP模型在理论上变得完备。（4）阐述了MGP模型预测非平稳时间序列的机制，提供了一条非平稳时间序列预测的新途径。实现了基于MGP模型的短期电力负荷预测，定量比较并图示了MGP模型、GP模型和支持向量机等三种方法的预测结果。在课题执行期间，在国内外期刊、国际学术会议上总共发表了论文30篇（其中国际刊物5篇，国内核心刊物10篇，国内一般刊物6篇，国际学术会议论文7篇，全国性学术会议论文2篇）。编制了4套软件并获得了软件著作权。申请了3项国内发明专利，其中1项获授权。培养了中青年学术带头人1名，较高质量培养了研究生15名（博士生3名，硕士生12名），在11名已答辩研究生中，有5人的学位论文被评为“校优秀学位论文”。课题组成员出国参加学术交流2人次，出国参加国际学术会议人数1人次。