分布式环境下高阶张量分解关键技术研究

Aiming at the current shortcomings of high-order tensor decomposition in the distributed environment, this project is to study and propose a high-order tensor decomposition algorithm based on distributed cloud platform which can support massive data. It includes high-order tensor distributed data storage designing and the various stages of the MapReduce operation designing in terms of tensor decomposition. Based on this, the optimization problem of high order tensor decomposition is explored. The efficiency of large scale tensor decomposition is improved by using the technologies of cloud platform, such as shuffle and merge stage optimization, memory optimization and so on. In addition, the project will also discuss the application of high-order tensor decomposition in biological data analysis. This project aims to put forward new theories, methods and solutions according to the characteristics of high order tensor decomposition in distributed environment. The key technologies' breakthrough will have great significance for the future of the high-order tensor decomposition, as well as some important theoretical issues, such as how high-order tensor decomposition is adaptable to dynamic environment.

针对当前分布式环境下高阶张量分解研究的不足现状,本项目拟研究并提出基于分布式云平台可支持海量数据的高阶张量分解算法，设计高阶张量的分布式数据存储方式、张量分解各阶段的Mapreduce操作。以此为基础，探索研究高阶张量分解的优化问题，通过综合运用云平台的各项技术（如:shuffle和merge阶段优化、内存优化等）来提升大规模张量分解效率。除此之外，本项目还将在生物大数据分析中讨论高阶张量的应用。本课题针对分布式环境下高阶张量分解的特性，提出新的理论、方法和解决方案。其关键技术的突破，对于未来高阶张量分解效率提高，以及一些重要理论问题，如高阶张量分解的动态适应性等做出有意义的提示。

随着大数据时代的到来，基于分布式云平台的可支持海量数据高阶张量分解的研究亟待加强。本项目深入探讨了大数据背景下的张量分解有效整合机制，优化手段、实现方法。（1）在全面总结分析基础上，研究并提出一种新型基于分布式云平台的可支持海量数据高阶张量分解算法，用scale进行了实现，并加以实验验证。相对于传统基于Matlab、R或Python语言的实现，其支持数据量级和可扩展性有很大提高。（2）深入研究了云平台下高阶张量分解的优化问题，探索了基于切面的形式划分张量数据来进行分布式并行计算，将结果更新到因子矩阵中。研究多轮迭代中Map和Reduce的流程优化，利用Spark分区的特性，直接使用分区中的数据进行优化，对各分区的优化结果采用简单平均的方式进行聚合。（3）深入研究了高阶张量分解的应用领域,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN 加速模型,有效地解决了张量分解中人工选择秩带来的误差问题,能够有效地提升 CNN 的压缩和加速效果。项目执行4年以来，产生了多项成果，圆满完成了任务目标。