资源约束的高维流数据降维方法研究

高维数据是实际应用中常见的、重要的数据表示形式。在数据库、数据挖掘等各类应用中，为了解决数据维度过高而带来的维度灾难问题，都必须对高维数据进行降维。另一方面，随着传感器和互联网等技术的发展，越来越多的高维数据以流数据的形式存在。面对流数据的动态性和无穷的数据量，在计算资源有限的情况下，很多针对静态数据的传统降维算法不再适用。因此，基于资源约束，对高维流数据降维这一基础性问题进行研究，设计具有理论性能保证的降维方法具有重要的理论和现实意义。本课题针对资源约束下的高维流数据降维进行研究，具体包括：1) 资源约束下的流数据降维算法研究；2) 基于资源约束的降维性能优化研究；3) 流数据降维的相关应用研究。该项研究的完成一方面将为高维流数据降维方法奠定坚实的理论基础并提供新的方法；另一方面对现实中诸如传感器网络、互联网等基于高维流数据的数据库和数据挖掘应用将起到强有力的支持和推动作用。

高维数据流是实际应用中常见的、重要的数据形式。对于大量相关应用，为了解决数据维度过高而带来的维度灾难问题，需要对其进行有效的降维处理。本课题面向多种不同降维目标与实际约束，对高维数据流降维的相关技术进行研究。课题研究成果包括：分析了主题空间映射在降维中的效果以及实际的数据稀疏性约束，提出了流数据上的异步主题模型和多粒度主题空间表示方法；对高维数据的一种新的数据缺失形式进行了分析，提出了高效的检索机制；面对流数据所具有的动态性与突发性，对跨领域的主动学习方法和知识迁移方法进行了研究；面向资源约束的流数据降维的应用需求和研究实验需求，结合课题研究成果，实现了一个流数据降维与管理实验系统。理论分析和实验分析表明了研究成果的有效性与优势，并证明了其在实际应用中的意义。