图嵌入方法在大规模数据密集型系统中的应用研究

Big Data is another hotspot after cloud computing. It combines lots of existing technologies , in which graph embedding is one of the key technologies. Graph embedding is about to get application data abstraction virtual logical topology after homomorphic computing by embedding real effective physical topology. For the issues in large data -intensive processing, such as scalability, load balancing and fault tolerance, The research project using Cayley graph and its coset graph to solve these problems in two aspects. First , consider the issues of graph embedding method for the symmetry data center architecture and get efficient routing policy; and explore scalable and load balancing big data platform architecture ; Second , based on the structure of the existing and lastest designs on big data systems to study how the graph embedding method is applied to distributed intensive data storage , improving existing key-value data model to support more complex multidimensional data query processing. Graph embedding plans to take full advantage of the structural symmetry simplifies the problem of virtualization in data center and big data, the findings for the research will provide a theoretical basis and key technologies for high scalability, load balancing and fault tolerance of massive intensive data processing platform.

大数据是继云计算之后的又一研究热点,它融合了众多现有技术，其中关键技术之一是图嵌入方法，即将应用数据抽象得到的虚拟逻辑拓扑经图同态运算后有效嵌入到真实的计算节点物理拓扑中的方法。针对密集型大数据处理中普遍存在的扩展性、负载均衡自适应性和容错性问题，本项目从两方面研究Cayley图及其陪集图的图嵌入方法在解决这些问题中的应用。一方面，研究图嵌入方法在数据中心网络中用于设计高对称性的数据中心体系结构并获得高效的路由策略问题；并探讨以此为基础设计出可扩展性强且负载均衡的大数据平台体系架构；一方面，在现有的和新设计的大数据体系架构基础上研究如何将图嵌入方法应用于海量数据的分布式存储，改进现有的键值对数据模型，使其支持更复杂的多维数据查询处理。图嵌入方法充分利用图结构对称性来简化数据中心和大数据的虚拟化问题，该研究成果为设计高扩展性、负载均衡和高容错性的大数据处理平台提供理论基础和关键技术。

本课题研究使用图嵌入方法，设计并构建用于密集数据存储的数据中心网络；研究了密集数据索引的方法和策略。基于OTIS光通信网络结构，设计了Mesh结构和超立方体结构作为因子网Ω的数据密集型平台体系架构，使用人体生物体征数据、人脸图像数据和垃圾邮件数据，研究了海量数据的分布式存储和索引方法，设计了基于超立方体结构的两层Cayley图索引模型CayIndex。研究了图嵌入方法在人体生物体征数据、人脸图像数据以及垃圾邮件数据中的应用。研究实验说明图嵌入方法在密集数据索引和存储的应用中，不仅存在挑战，也具有强大的优势，基于对称的确定性拓扑所设计的索引结构具有很好的容错性和鲁棒性，但是数据提取和分析在前期的研究中复杂，且难度大。下一步重点研究数据在轻度清洗后如何充分利用图嵌入的容错性和鲁棒性来规避非结构化数据分析的难度和强度。