基于高维地理数据特征提取的空间数据分析算法研究

In recent years, the new requirements of data and spatial analysis are becoming the new opportunities of the development of Geographical Information System. Because of the special background of creation and property of geographic data, the applications face a series of challenges from big data processing with the characteristics of high-dimensionality, magnanimity and unstructured information to presentation of the view of time and space. Thus the rapid developing industry is badly in need of new types of tools in space exploration and geographic data analysis, which can make clients intelligently use the big data, simplify the multivariate data, extract feature and effectively find the spatial models and relationships, under the circumstance of data with uncertain properties and noise. Then the knowledge in data can be mined efficiently, promoting the values of data. Aiming at solving the mentioned problems, the followings are the major targets of this research. 1) Based on the features extraction of high-dimensional geographic data, we will present new methods of dimensionality reduction and clustering to solve the problems, starting from manifold learning and penalized model-based sparse clustering method via the nonconvex penalty functions. 2) We will also give a novel concept of distance based on the spatial data analysis structure and its efficient algorithm, which integrates the geographic and attribute distances into a new geographic data measure. 3) We will propose a new model for spatial analysis, along with previous research, to analyze spatial relationship under different conditions theoretically and practically.

近年来，数据与空间分析新的需求成为地理信息系统技术发展的新契机。由于地理数据自身性质与产生背景的特殊性，其具体应用面临着高维、海量、非结构化等一系列“大数据”形式处理以及时空观表达方面的挑战。因而，目前行业和产业的发展亟需新式空间探索与数据分析框架及其相关技术，以便可以智能地让用户详审大容量数据，简化多变量数据，并且在数据有不确定性与噪声的情况下，有效进行特征提取，以充分探测与搜索空间模式和空间关系，进而支持有效挖掘这些数据背后的知识，提升数据价值。针对以上问题，本项目拟 1）基于高维地理数据特征提取，从流形学习及模型聚类研究入手，提出新的降维与聚类方法；2）通过耦合地理距离和属性距离，提出一种新的空间数据分析距离概念及其有效估测算法；3） 结合前述的距离概念和新提出的地理数据降维与聚类方法，发展一个全新的空间数据分析模型框架，用于挖掘不同情形下地理数据的空间关系。

对于分布于低维流形上的非结构化高维数据，如何有效地实现降维处理进而对其进行机器学习？对于像地理数据这样特殊的非结构化数据，如何更科学准确的衡量空间关系特征？对于像文本、图像等普遍存在的非结构化高维数据，如何更加高效和智能化地聚类？对于承载数据的网络结构，如何更好地保持网络的稳定性并挖掘网络结构的性质？所有这些都是非结构化数据分析必须面对的突出问题，本项目聚焦于这些问题，研究分析数据规律及挖掘数据知识的理论与方法，以支持非结构化数据的分析和使用，并为后续的综合处理奠定基础。针对高维非结构化数据的降维问题，提出了一种应用范围广、计算效率高的新的流形学习方法。新方法是熟知的L-Isomap（Landmark Isomap）方法的改造，因其以Landmark点子集来嵌入新的输入数据，可称之为EL-Isomap（Extensive Landmark Isomap）。EL-Isomap和L-Isomap在机理、算法与理论基础方法存在显著不同，但同样是全局降维方法，新方法不仅能应用于更广泛的数据集，而且兼具局部流形学习方法的优点（特别可处理环状及低维空间凹区域等复杂结构流形数据），同时具有较低的计算复杂性。数据实验支持了所提新算法的优越性。 针对地理数据，提出并发展了一个全新的空间分析模型。地理数据的复杂性在于它不仅具有通常数据所呈现的属性特征，而且与地球表面空间位置相关（即地理信息）。为了分析地理数据，我们提出了一种耦合属性距离和地理距离的全新地理数据度量——本质度量距离。借助这一新的度量，地理数据的分析与处理可化归为通常数据的处理。我们从理论和应用上说明了这一新框架的合理性、有效性与可计算性。针对高维非结构化数据的聚类分析问题，提出了一种基于模型并结合使用非凸正则化的稀疏聚类算法。新算法以混合高斯分布为基础，结合SCAD (Smoothly Clipped Absolute Deviation)、MCP (Minimax Concave Penalty)、L_0以及 L_{1/2}等非凸正则化技术，并使用EM（Expectation Maximization）算法来进行求解。实验说明，新算法能够对超高维数据聚类并在其中自动选择特征并去除噪音，因而可广泛应用。