结构化多视角特征融合及鲁棒增量优化的云平台智能异常排序及预警研究

With the rapid development of mobile internet, IoT and other technologies, cloud computing becomes a kind of essential infrastructure resource. However, multiple anomalies from cloud computing in real-time result in the failure of performance, intelligent anomaly ranking and early warning as the supplement, both improving the traditional anomaly detection, but also to fast realization of anomaly location and processing. In this project, we develop the real-time, efficient and robust intelligent anomaly ranking and early warning system to solve challenges including multiple features, imbalance distribution, high dynamic. The main contents are summarized as follows: 1) in the offline learning phase, utilize the multi-view fusing model based on metric constraint to obtain the optimized solution and structured ranking output; 2) in the online learning phase, first, we exploit local weighted matrix to balance distribution and improve to incremental learning with forgetting mechanism to enhance efficiency. And then, build the feature extraction model coordinated mul-tivew information, moreover, obtain the visual result of features by unsupervised hash-mapping. Meanwhile, in order to enhance the efficiency of calculation and assure the scalability, the project utilizes the big-data platform Hadoop and the parallel computation framework Spark to realize this system. The research work is helpful to establish the research system of intelligent anomaly early warning, and provides an effective way for the intelligent operation and maintenance of cloud computing.

移动互联网、IoT等技术快速发展，使云平台成为不可或缺的基础资源。然而，实时产生的多类异常阻碍其性能高可用，智能化异常等级排序及预警作为常规异常检测的有效补充，为异常定位与处理提供有力支持。本课题针对云平台数据多类型、非平衡、高动态等特征进行研究，旨在设计实时、高效、鲁棒的智能异常等级排序及预警系统，主要包含：1)离线学习，利用距离约束下多视角特征融合模型获得优化解及结构化排序输出。2)在线学习，首先，借助局部权值矩阵平衡样本分布，并进一步拓展为遗忘机制的增量方法，提升计算效率。同时，利用二分类任务转化实现新类识别。其次，建立协同多视角特征提取模型，并利用无监督哈希映射获得特征可视化结果。为保证动态计算执行效率，本课题借助大数据平台Hadoop及并行计算框架Spark完成模型评价与系统构建。本课题的研究有助于建立智能化异常预警方法的研究体系，为云平台智能化运维提供了有效途径。

大规模云平台凭借按需付费、高效水平拓展、弹性可伸缩等优势成为互联网应用运行所依赖的重要基础设施。然而，硬件设施复杂性与软件负载异构性导致各类异常频繁发生，影响云平台稳定运行，极大制约其应用与发展。以往的故障监测及预警系统通过设置阈值参数发现异常并报警，该类方法存在：1)对高危的隐蔽异常数据不敏感，降低识别精度；2)各级异常统一化处理，导致高误警率；3)难以自适应动态数据分布，可拓展性差。.针对上述问题，本课题提出云平台异常等级排序原型系统，实现实时、高效、鲁棒的智能化异常检测及预警，保障云平台安全、持久、稳定运行。首先，挖掘多子系统数据特征多样性与互补性构建结构化特征融合模型，并利用特征蒸馏及自蒸馏技术还原采集过程中的不完整信息，解决运行数据特征缺失及关系缺失问题，进一步强化融合特征判别性，提升异常识别精度。其次，提出鲁棒的有序回归模型，根据当前样本类别分布生成自适应局部权值矩阵，解决分布非平衡产生的过学习与欠学习问题，并引入有序类间错分样本惩罚约束，优化投影方向。同时，利用“三项约束对”损失避免有序类间噪音样本对判别模型求解产生的影响，保证多类异常依等级有序，实现各异化异常处理，有效降低误警率。最后，提出分布监督下增量学习模型，引入皮尔逊相关系数替代样本量参数，在充分考虑样本及类别分布结构前提下构建优化模型，并挖掘相邻时间点数据的难中心，识别新异常类，保证模型对动态数据适应性。同时，借助深度强化模型学习过程，生成伪训练样本，强化异常识别模型训练。.本课题的研究通过构建智能化异常等级排序模型拓展了常规方法对异常的单一检测模式，为后续各异化处理提供了前提，并极大降低了高误警率带来的人力成本，对云平台的推广及应用具有重要的实际意义。