大数据环境下基于量子计算的非结构化数据关键问题的研究

The strategic significance of Big Data isn’t the huge data, but processing the big data to obtain the meaningful information. The key point is to improve the ability of data processing. It results to implementation of value-added of big data. In another words, the essence is the processing ability of non-structured data. Structured data is in accordance with the specific format of the data, they can be stored in the core of management system. However, with the development of Big Data, the structure of data becomes more complex. Most of the data and information are from the category of classical data structure, belongs to non-structured data. How to deal with non-structured data has been one of the core issues of Big Data..Quantum computation gives a new insight of processing of Big Data. It has the advantages of high parallel, safety and efficient. Combined with these advantages of quantum computation, quantum genetic algorithms and quantum search algorithms show great values for huge non-structured data. They could be used for modeling, feature extraction and data clustering of non-structured data, and so on. We focus on these. Meanwhile, this project breaks the limitation of traditional two-dimensional table of data structure. Then it is no longer limited to the cause relationship of data, but to explore the correlation of big data. We will present new non-structured data’s model, which will help to improve the processing efficiency of non-structured and semi-structured data. Furthermore, it will promote the intrinsic value of business data.

大数据的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理；关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。换言之，本质是对非结构化数据的处理能力。结构化数据是按照特定格式整理的数据，它们能被企业的核心系统进行储存管理。然而，随着大数据发展的迅速，数据结构变得更加复杂，大部分数据信息都已经脱离出数据结构的范畴，属于非结构化数据。如何处理非结构化数据，是大数据的核心问题之一。.量子计算为大数据的有效处理数据提供了一条全新途径。本课题基于量子计算的高并行、安全、高效等优点，结合量子遗传算法和快速量子搜索算法，对大数据中非结构化数据进行建模、特征提取、数据聚类等。突破传统数据结构的二维表模型，并且不再局限于数据的因果关系，改而探究大数据中的关联关系。提出的非结构化数据模型，将有助于提高非结构化和半结构化数据的处理效率，提升数据的内在商业价值。

本课题基于量子计算的高并行、安全、高效等优点，结合量子遗传算法和快速量子搜索算法，对大数据中非结构化数据进行建模、特征提取、数据聚类等研究。我们尝试突破传统数据结构的二维表模型，不再局限于数据的因果关系，改而探究大数据中的关联关系。课题主要研究：大数据中关联关系与因果关系的研究，进行了关联规则挖掘的学习和研究，由此产生专利1个，期刊论文2篇，会议论文2篇；大数据非结构化数据模型的建立，提出了一种跨媒体非结构化数据兼容模型，每个元数据由特征层、语义层、兼容层三层构成，有助于提高非结构化和半结构化数据的处理效率，对应产生专利1个，论文3篇；非结构化数据特征的提取，使用量子拉普拉斯变换，进行数据维度打标签和小样本标注，由此产生专利2个，论文5篇；多目标快速量子搜索和基于量子遗传算法的非结构数据聚类，主要从行业和领域应用着手，尝试对于高考志愿填报，用量子遗传算法来解决，实验效果达到了预期。同时，对于规则引擎的智能审核、数据预处理，非结构化数据分析的业务分析流程和数据分析模式，包括：业务需求理解、数据预处理、逻辑描述、顶层数据框架、数据清洗、非结构化量子计算模型设计、程序实现、迭代审查、结果重组、表达应用等，也进行了一定的探讨研究。相应产生期刊论文、会议论文、专利、软著、人才培养等各若干，圆满完成课题的预期成果。.课题围绕量子计算的大数据非结构化数据的研究，在工作开展的过程中，我们揭开了量子机器学习的新篇章，为课题的光明前景打开了一扇窗！同时，通过对非结构化数据的研究，打通了整个大数据研究的生态链条，让我们课题组看到了更多可以延伸的研究方向，并且大数据的研究和应用一定是面向领域的。通过我们研究的成果在智慧旅游、医保审核、舆情分析等领域的应用，可以看出基于量子机器学习的大数据相关核心、关键问题的研究，具有广阔的经济价值、学术价值和产业价值。同时，相关成果对于国防科技应用也有很不错的前景。