独立分量分析算法及其在高维数据特征提取中应用研究

To learn a linear transform of an observation (random vector or multi-dimension data) using only the observation such that the components of the transform output is mutually statistically independent or as independent as possible is called Independent Component Analysis (ICA). It’s the common hot spot in statistics, neural networks and statistical signal processing in recent 20~30 years. The research results show that the prewhitening in the two stages ICA algorithms can reduce the computational load in demixing stage, but the backward propagation of error in prewhitening stage will deteriorate the accuracy of the demixing stage, and make the two stage algorithms have no equivariance property; The one stage fixed point FAST-ICA algorithm is developed based on the ordinary gradient. To improve the convergent speed of the one stage ICA algorithms, we will transform the prewhitening of the two stages ICA algorithm into the weighted orthogonal constraint to the demixing matrix in one stage ICA algorithms, and proposed the weighted orthogonal constrained one stage ICA algorithms; Using the natural gradient instead of ordinary gradient to develop the natural gradient based fixed point FAST-ICA algorithms and theoretically analysis the convergence of the proposed algorithms. Finally, the proposed algorithms are used to solve the causal analysis among variables and the feature extraction of the high dimensional data.

仅从一组观察（随机向量或多维数据）出发，通过学习算法寻找一个线性变换，使观察经变换后分量之间相互独立或尽可能的相互独立称为独立分量分析（Independent　Component Analysis: ICA）。它是近二三十年来统计学、神经网络、统计信号处理学界共同的研究热点课题。研究表明ICA的两阶段算法中预白化步可以减少分离步的工作量，但预白化步误差会向后传播，影响分离步的分离精度，使算法不具有等变化性；已有基于最大非高斯性的一阶段ＦＡＳＴ－ＩＣＡ算法没有使用独立分量分析中的最优梯度。本项目组拟将ICA两阶段算法中的预白化步等价转化为一阶段算法中分离矩阵的加权正交约束，提出一阶段的约束独立分量分析算法并理论分析其收敛性；利用ICA问题最优的自然梯度，结合加权正交约束，研究基于自然梯度的一阶段ＦＡＳＴ－ＩＣＡ算法并研究其收敛性。将新算法应用到多变量因果关系分析和高维数据的特征提取问题中。

仅从一组观察出发，通过学习算法寻找一个线性变换，使观察经变换后分量之间相互独立或尽可能的相互独立称为独立分量分析（Independent Component Analysis: ICA）。它是近二三十年来统计学、神经网络、统计信号处理学界共同的研究热点课题。依照项目计划书，项目组开展了ICA算法及应用研究。.在算法研究方面：研究了已有FastICA算法的局部收敛性，基于算法在平衡点处满足的等式，结合加权正交约束，提出了一个新的等变化递归FastICA算法。将Tukey-M估计作为非线性函数引入FastICA算法，提出了一种新的FastICA算法，证明了对独立分量的任何非高斯分布，总存在Tukey-M估计的参数，使提出的新算法满足局部稳定性条件。研究了FastICA算法的收敛阶，给出了FastICA算法至少三阶、四阶收敛的充分条件，证明了新提出的算法至少三阶收敛。提出了基于典型相关分析、两正定阵联合对角化等ICA算法，研究了ICA算的一致性。另外，研究了两类共轭梯度优化算法，为其在ICA中应用打下基础。.在应用研究方面：研究了ICA方法在时间序列分析中的应用。对单变量的金融数据，基于研究数据内部驱动机理的思想，将单变量数据用VMD方法分解成多个分量，利用ICA求解分解变量的独立成分，每一个独立成分代表一个金融时间序列的独立的内生驱动因素。通过对独立成分的分析和预测，很好地分析预测了石油价格、黄金价格、能源价格等金融时间序列。多元时间序列：结构向量自回归（SVAR）序列，研究了其基于ICA的模型估计方法，即模型因果系数的确定方法。对SVAR-GARCH模型，研究了其波动率估计方法，通过对噪声写独立分量分解，并建立独立成分的波动率与单元变量波动率之间的关系，将多元波动率的估计转化成对各独立成分的波动率的一元估计，提高了波动率估计的精度，降低了算法的复杂度。