不确定性数据流自适应聚类分析及演化分析方法研究

The research of clustering analysis and clustering evolution analysis method on uncertain data stream in this project is conducted in order to meet the data analysis strong demand on uncertain data stream which widespreadly emerge as the new data form in areas of economic, military, telecommunications and computing science, etc. This research project has important theoretical value and practical significance. The new uncertainty measure method based on Shannon entropy ellipsoid index multi-dimensional expanding will be researched to describe data uncertainty degree quantitatively. The uncertain data stream will construct new model under the uncertainty degree. Then we will research the method of uncertain data stream self-adaptive clustering method based on grid-density under the uncertain weighted density tree structure. At the same time, the clustering validity evaluation method will be researched based on clustering distribution density index which is organically combine of cluster compactness, inter-cluster separation degree and uncertainty. And determine the optimal number of clustering by density index histogram. This project will research clustering evolution analysis method innovatively based on gray Markov prediction model to tracking and analysis the clustering evolution process of uncertain data stream in real time. All of research contents of this project are developed to do the accurate and efficient clustering analysis on uncertain data stream as the new emerging important data form, and apply new thought and exploration for event detection on uncertain data stream through the work of clustering evolution analysis research.

为迎合当前军事、经济、电信及科学计算等关键领域对其广泛涌现的不确定性数据流数据分析处理的强烈需求，本课题研究适合的不确定性数据流聚类分析及聚类演化分析方法，具有重要的理论价值和现实意义。课题开创性地研究基于Shannon熵超椭球体指标的不确定性度量方法，实现数据不确定性程度的量化描述，并在此基础上构建新的不确定性数据流模型，继而研究该模型下基于不确定加权密度树的不确定性数据流网格密度自适应聚类分析方法；同时研究基于聚类分布密度指标的不确定性数据流聚类有效性评价方法，并利用密度指数直方图实现最佳聚类数目的确定；课题创新性地研究基于灰度马尔可夫预测模型的聚类演化分析技术，实现不确定性数据流聚类演化过程的实时追踪与分析。本课题旨在通过以上研究，实现对不确定性数据流这一新兴重要数据形式进行高效准确的聚类分析处理，并通过聚类演化分析为不确定性数据流事件检测方法研究提供新的思路和探索。

随着数据获取技术的快速发展和人们对数据采集和数据处理技术的深入探索，数据的不确定性作为一项数据的普遍性特征受到人们的广泛关注。近年来，对于不确定性数据的数据管理、数据分析、数据挖掘等领域的科研工作引起相关学者的普遍重视，成为新近的研究热点问题之一。聚类分析作为数据挖掘技术中的重点研究内容，其既可作为单独的数据挖掘技术产生有效处理结果，又可作为其它数据挖掘过程的预处理技术的特点，使其有着更为广泛的实际应用领域。本课题的研究工作着眼于对于不确定性数据流的聚类分析技术和聚类质量评价的研究上，并探索性尝试了不确定性数据流聚类演化分析的方法研究。.为了能够更好地对不确定性数据流进行聚类技术研究，致力于深入研究不确定性问题，研究不确定性问题的随机性和模糊性，进一步研究不确定性定性定量度量模型。在此基础上，针对不确定性数据存在级不确定性和属性级不确定性并存的特点，改变现有不确定性数据处理技术中仅片面研究不确定性的现状，进行不确定性数据存在级及属性级不确定性统一建模，基于Shannon熵，在超椭球体指标下进行多维扩展，构建不确定性度量模型，继而进行不确定性数据流的不确定度统一建模。引入网格密度聚类算法，在不确定性特征和流式特征的影响下，设计适合的聚类衰减窗口模型，并利用密度阈值自适应调整策略，改善网格密度聚类受密度倾斜和分布不均影响的问题，提出不确定性数据流自适应密度聚了分析方法；为进一步提高不确定性数据流聚类算法的执行效率，为其构建密度树模型，提出基于密度树的不确定性数据流聚类分析方法，通过在线离线的聚类框架进一步提高了算法的聚类效率和聚类精度，同时可以通过参数值的自适应调整减少参数预设对算法的影响。针对不确定性数据流聚类质量评价问题，本课题采用基于直方图的最优划分方法进行不确定性数据流衰减窗口下聚类类别数目的自动发现，由此解决对于半监督、无监督学习机制下的聚类算法，聚类数目难以评价的问题，进一步保证聚类结果的可靠性及聚类评价指标的可信性。对聚类演化分析的分析过程结合Chernoff不等式的自适应采样技术判断异常点数目是否满足聚类状态变化要求，自适应判断聚类状态演化时间拐点，随后根据侦测到的聚类演化时间拐点，利用灰色马尔可夫预测模型对不确定性数据流聚类情况进行分段预测，以此获得不确定性数据流的聚类演化分析结果。