基于云计算的虚拟天文台关键技术研究

随着虚拟天文台建设的快速发展，当前基于网格的虚拟天文台面临管理复杂、应用不透明、难于扩展以及实用性欠缺的问题。本项目旨在深入研究云计算这一新型计算方式，结合当前天文数据处理实际情况，研究基于云计算的大型分布式数据密集型计算的可扩展分布式文件系统、基于云计算的分布式数据存储管理技术和与之相关的虚拟化技术、分布式海量数据的快速查找，以及云计算编程模型与传统应用程序的"云"化问题，并在上述研究的基础上，开发一个基于云计算的虚拟天文台应用原型，重点解决数据分布存储与数据管理问题，用以验证研究成果，并结合现有天文数据处理中的迫切需求，提高可用性和实用性，推动虚拟天文台技术的发展与普及。

课题是虚拟天文台当前发展的底层存储和计算架构技术的重要组成部分，在2012年到2014年的三年的时间里，项目组通过大量而深入的工作，深入研究了云计算这一新型计算方式，结合当前虚拟天文台天文数据处理的实际情况，针对当前面临的大型海量数据集存储和检索的问题，对流行的各种云计算底层技术进行了大量的分析和比较，重点研究了基于云计算的，以Hadoop为底层的分布式系统，通过实验证明HDFS的文件系统以及MapReduce计算模式在虚拟天文台海量数据管理和计算的可用性，并依此为基础实现了一个海量图像分布式处理平台，该平台已经于2013年应用于中国科学院国家天文台怀柔太阳观测基地的图像存储，解决了原有的扩展性、可管理性等一系列问题，并为后期的在线处理数据、基于IOVA的协议的数据发布提供了较好的基础。其他的研究重点还包括对云计算环境下的分布式存储技术展开研究，特别是分布式数据的快速检索方面，通过对基于字对齐压缩的位图索引方法和传统的Mysql数据库进行性能比较，发现基于字对齐压缩的位图索引方法在海量数据检索性能上有较为明显的优势，并实现了太阳数据的归档系统，该系统已经在云南澄江一米红外太阳塔（NVST）投入使用，解决了NVST观测数据的快速存储和高效检索难题。项目充分利用当前了计算资源，解决虚拟天文台对大规模计算平台与数据存储平台的需要，对推动我国虚拟天文台建设有较好的应用价值。