海量高维天体光谱数据挖掘及其并行化研究

Aiming at three major science tasks of the great national science engineering project LAMOST，this project makes research on massive and high dimensional data mining of celestial spectra data and its parallel technology around the key scientific issue which is "Looking for the special celestial body with tracing properties and the universe awareness of unknown laws". The main research work is as follow: Local outlier mining algorithm of massive and high dimensional data set and its parallelization based on subspace and attribute correlation analysis; Frequent pattern mining algorithm and its parallelization based on address table and FIUT tree structure; Celestial body spectrum-oriented reduction and representation of association rule; Performance optimization of data mining algorithms and load balancing under the cluster environments; Parallel oulier mining technology of massive and high dimensional celestial spectra ; The parallelization technology of correlation analysis of massive and high dimensional celestial spectra data based on association rule; Celestial spectra data mining system under Hadoop environments. The research on the project not only affords effective ways and means for massive and high dimensional data mining, but also further provides core support technologies for improving the scientific output of LAMOST, discovering unknown special celestial bodies and the astronomical law, and the cross-certification of unknown celestial bodies.

本项目针对国家重大科学工程LAMOST项目的三大科学任务，围绕拟解决的关键科学问题"寻找具有示踪性质的特殊天体以及宇宙未知规律的认识"，对海量高维天体光谱数据挖掘及其并行化技术进行研究，主要研究内容包括：基于子空间和属性相关性的海量高维局部离群数据挖掘算法及其并行化；基于地址表和FIUT树结构的频繁模式挖掘算法及其并行化；面向天体光谱数据的关联规则约简与表示；集群环境下的数据挖掘算法性能优化与负载均衡；海量高维天体光谱离群数据并行挖掘技术；基于关联规则的海量高维天体光谱数据相关性分析并行化技术；Hadoop环境下的天体光谱数据挖掘系统。该课题的研究不仅为海量高维数据挖掘，拟提出一种有效的方法和途径，而且也可望为进一步提高LAMOST的科学产出，实现未知特殊天体光谱数据和天文规律的知识发现，以及未知特殊天体的交叉认证，提供核心支撑技术。

本项目以国家重大科学工程LAMOST为应用背景，对海量高维天体光谱数据挖掘及其并行化技术进行了深入、系统的研究与探索，已圆满完成了研究内容，取得良好的研究成果，达到了预期研究目标和效果。所取得的重要成果包括：提出了一种基于基于FIUT树和MapReduce编程模型的并行频繁项集挖掘方法-FiDoop，以及一种在集群中平衡节点负载的数据分区方法，并进一步优化了FiDoop，使其更适合处理高维数据；针对并行频繁模式FIM算法，提出了一种的集群环境下有效数据划分方法FiDoop-dp，FiDoop-dp考虑了项目以及事物之间的相关性，并对项目分组和事物划分，减少了网络传输量也降低了各节点的计算负载，同时结合Voronoi 图和LSH技术，实现了该数据划分策略；提出了一种约束频繁模式并行化挖掘算法，采用了基于频繁项支持度的数据分组策略，实现了数据记录迁移，并有效地解决了频繁模式生成过程中的负载均衡问题，同时也给出了一种重定向任务调度算法，缩短了作业完成时间和降低系统资源消耗，提高了作业并行化程度；采用MapReduce编程模型和LSH分布式策略，提出了一种MapReduce编程模型下的局部离群数据并行挖掘算法；提出了一种基于wk-距离的离群数据挖掘算法Miner*，开发了恒星光谱离群数据挖掘原型系统等。其研究成果不仅为海量高维数据挖掘，提供了一种有效的方法和途径，而且也为进一步提高LAMOST的科学产出，实现未知特殊天体光谱数据和天文规律的知识发现，提供了核心支撑技术。该项目所取得的成果已在《IEEE TPDS》、《IEEE TSMCS》和《软件学报》等国内外学术刊物和学术会议上，发表与录用学术论文14篇，其中：CCF A类期刊2篇、B类期刊1篇、C类期刊2篇；SCI刊物9篇、EI刊物3篇。