数据服务运行时的性能优化关键技术研究

Data services have been the key technique for data integration across domains. It is a challenging problem to effectively discover and utilize their special patterns during data transfer, data transformation, data update to implement the high-performance operations. To improve the performance without sacrificing accuracy, we plan to propose XML template-based string matching and lazy load techniques to accelerate the data transfer, and the trade-off model between caching cost and caching benefit to select the caching points dynamically, and the tuple lineage tracing index and nested descriptor index to update the caching points. Then we build the experimental system and test its performance with real large-scale datasets. Our research can obtain a breakthrough in the key techniques of large-scale data network infrastructure, and provide the foundational theory and support for the development of Cloud Computing and Big Data, and promote the development of the information supervision and management across domains and improve the collaboration efficiency across organizations.

数据服务是实现动态跨域异构数据集成的关键技术。如何有效地挖掘数据服务在数据传输，数据转换和数据更新的模式，实现数据服务运行时的高性能，是亟待解决的技术难点和当前的研究热点。为了保证在适应动态变化环境的前提下提高数据服务运行时的性能，拟提出基于XML模板字符串匹配和延迟加载的数据传输加速，基于成本和收益模型的动态缓存点选取，支持近似匹配的B+树索引的缓存点重用，基于元组Lineage跟踪表和嵌套描述索引的动态缓存点更新；在此基础上构建实验系统，在真实数据环境下验证系统性能，以期在网络化数据基础设施方面取得突破，研究成果可望为云计算和大数据等基础设施的研发提供理论支撑和核心技术，并可用于指导跨域信息监管等应用的开发，提高组织和机构的协作能力。

数据服务是实现动态跨域异构数据集成的关键技术，本项目以数据服务为研究对象，旨在提供一种适应动态变化环境的数据服务层，在此基础上通过研究数据服务运行时的性能优化技术，使用户能够通过透明访问数据服务快速得到准确的数据，有效地支持全局态势分析与决策等综合类应用。其中在以下三个方面做出重要成果。.1）提出了基于XML模板字符串匹配和延迟加载的数据传输加速技术，通过技术通过结合XML 模板字符串匹配和延迟加载的数据传输加速技术，从处理和传输两个角度来减少时间开销，数据服务在数据传输的延迟减少了30%。.2）提出基于动态缓存点选取的数据转换加速技术，该技术根据复合数据服务的拓扑结构把中间转换结果是否缓存转换为一个最大化收益的0-1规划问题，并且结合贪心算法实现线性计算，同时，复合数据服务的统计信息也在不断被监测收集，例如请求频率，更新频率以及中间转换的计算成本，数据服务平台根据这些信息不断调整缓存点，使之适应动态变化的环境。此外，设计了支持近似匹配的B+树索引的缓存点重用技术，给出了参数值域是数值和关键词的近似匹配策略，提高了60%的缓存点命中率。.3）提出了基于元组Lineage 跟踪表和嵌套描述索引的数据更新加速技术，其中元组Lineage 跟踪表可以过滤掉不影响缓存点更新的元组更新，提高缓存点的更新传播效率；嵌套描述索引可以快速计算增量结果，使缓存点的更新计算效率提高了40%。.上述研究成果已经在15篇国内外顶级期刊和会议上发表，并且在国家网络信息监管平台上进行实际应用，有效的提高了跨地域的网络信息监管的协同处置能力。