大数据与试验设计中的统计方法与计算

The big data is revolutioning our life, work and thinking. An important and imperative research project is how to mine and use the information in big data, efficiently. Our research about big data and design of experiments will focus on the following four sub-projects: 1) the big data mining and algorithm; 2) the statistical inference of high dimensional convariance matrix; 3) the monitoring and dignost for the on-line big data; 4) the design theory and modelling for complex experiments. The detailed research contents will include: 1) in the view of computer science: data fusion algorithms, data mining and recommendation algorithms, privacy preserving data mining algorithms and parallel algorithms; 2) in the view of statistics: the robust estimation of high dimensional and sparse covariance matrix, the robust two-sample t test for high dimensional data, on-line monitoring and dignostic for high dimensional data stream, how to define and monitor the quality of big data, the on-line monitoring for multivariate functional data, the optimality theory and construction of supersaturated designs with high and mixed levels, the construction and modelling of various Latin hypercube designs, etc. Our research results will include patents or software copyrights, papers and the cultivation of PhD and Master students.

可以说，大数据正在变革我们的生活、工作和思维，如何有效地挖掘并利用大数据中的有用信息，则是我们当前需要深入研究的重要课题。本项目将从四个方面对大数据与试验设计进行研究：1) 大数据挖掘与计算；2)超高维数据阵的统计推断；3)大数据的实时监控与诊断；4)复杂试验的设计理论与建模方法。具体研究内容将包括：从计算机科学角度研究处理数据的融合算法、数据挖掘推荐算法、大数据隐私保护算法、并行算法等；从统计学角度研究高维稀疏协方差的稳健矩阵、超大规模两样本t检验的稳健性研究、高维数据流的实时监控与诊断、在线数据质量的定义与监控、多元函数型数据的实时监控、高水平及混水平超饱和设计（SSD）的最优理论及构造、多种拉丁超立方体设计（LHD）的构造及数据分析与建模。通过本项研究，争取有一定的理论突破，为今后的实际应用和推广奠定坚实的基础。.本项目的研究成果将包括专利(或软件著作权)、学术论文及学生培养。

背景及科学意义..大数据正在变革我们的生活、工作和思维，如何有效地挖掘并利用大数据中的有用信息，则是我们当前需要深入研究的重要课题。通过本项研究，争取有一定的理论突破，为今后的实际应用和推广奠定坚实的基础。本项目的研究成果包括一系列学术论文及学生培养。..主要研究内容..本项目将从四个方面对大数据与试验设计进行研究：.（1）大数据挖掘与计算；.（2）超高维数据阵的统计推断；.（3）大数据的实时监控与诊断；.（4）复杂试验的设计理论与建模方法。..重要结果..（1）从计算机科学角度我们研究了处理数据的融合算法、数据挖掘推荐算法、大数据隐私保护算法、并行算法等；.（2）从统计学角度我们研究了高维稀疏协方差的稳健矩阵、超大规模两样本t检验的稳健性研究等；.（3）从统计学角度我们研究了高维数据流的实时监控与诊断、在线数据质量的定义与监控、多元函数型数据的实时监控等；.（4）从统计学角度我们研究了高水平及混水平超饱和设计（SSD）的最优理论及构造、多种拉丁超立方体设计（LHD）的构造及数据分析与建模等。..关键数据.在本项目执行期间（2015-2019年），在本项目的资助下，本项目组成员共出版专著2本，发表或接收待发表SCI论文104篇，包括国际统计四大顶尖杂志11篇、国际工业统计顶级期刊Technometrics 5篇、泛华统计协会会刊Statistica Sinica 12篇、计算机科学顶级杂志或会议论文12篇。毕业博士生15名、硕士生38名、专业硕士41名；在读博士生35名、硕士生9名、专业硕士16名。