面向大数据的机器学习理论与方法

With the fast growth of Internet, Big Data is becoming a new trend in the frontier of the technology and economic development and has raised new challenges for scientists. Because of its high noise, great structure variety, and fast evolving velocity, Big Data is hard to be handled using either the traditional methods that follow the 'observation-hypothesis-testing'-type paradigm of scientific research or the existing data-driven methods with a base on the solid probability and statistic theories. Therefore, in order to effectively analyze Big Data and timely discover the underlying useful information, it is imperative to develop a new set of machine learning theories and methods that can meet the requirements of data intensive analysis tasks. To systematically investigate and build such a set of theories and methods, this project proposes to carry out the following three themes of work: 1) develop new theories and computational methods for learning hierarchical latent representations to reveal the essential properties and patterns underlying Big Data; 2) develop machine learning algorithms and strategies that automatically adapt according to the fast and diverse changes of Big Data; and 3) apply the new learning theories and algorithms to image content analysis and understanding and develop a prototype platform to demonstrate and prove their effectiveness. With a systematical investigation and combination between theories and practical applications, this project aims to develop a new set of machine learning theories and algorithms that can deal with Big Data effectively. With the accomplishments of this project, we expect to make breakthrough contributions on some key technologies of hierarchical latent representation learning and adaptive learning in the Big Data environment, and develop a prototype platform for intelligent image and video content analysis and to provide information service.

互联网发展带来的海量数据，引领了科技与经济发展新的趋势，提出了新的挑战。大数据具有的噪声大、结构复杂多样、变化快等特点，是传统的观察-假设-检验的科学方法，以及现有基于概率统计的数据驱动理论与方法都难以应对的。亟需发展一套面向数据密集的新计算理论与方法，才能对大数据进行有效的处理，并从中及时发现有用的信息。为探讨这样的理论与方法，本项目申请设置了以下3个研究内容：1）多粒度隐层表示的学习理论与方法，以充分挖掘大数据背后隐含的本质规律与特性；2）大数据环境下自适应学习方法与学习策略，以应对大数据快速多样的变化；3）建立大规模图像内容分析与理解应用平台，以验证基础理论和方法的有效性。本课题通过理论和应用的结合，旨在发展与创立应对大数据复杂环境的机器学习理论与方法，预期在大数据处理多粒度隐层表示特征学习、自适应学习等方面取得关键技术的突破，实现海量图像和视频智能处理、信息服务原型系统平台。

本项目针对大数据噪声大、结构复杂多样、变化快等特点开展了3个方面的研究：.1）在大数据隐含特征学习方面，从理论基础研究和应用基础研究两方面开展了研究。在理论方面，提出了在线正则化贝叶斯推理、核正则化贝叶斯、鲁棒正则化贝叶斯等基础理论和方法；发展了高效的分布式贝叶斯推理算法，及其网络链接预测、网络推荐等复杂场景下的学习方法。应用基础方面，针对大数据中文本与知识的表示学习问题，提出了在神经网络模型中嵌入语言学知识的递归自编码模型、树型长短期记忆模型、语言学知识正则的长短期记忆模型；在结构化知识表示层面，提出了产生式的知识嵌入模型transG，考虑文本信息的SSP，流型嵌入的ManifoldE。在基于大规模数据语言生成方面，针对生成内容的语义性、一致性、交互性等问题，从类别控制、句式控制、信息量控制、知识利用、逻辑性等方面进行建模，并广泛应用在文本摘要、对话生成、广告文案生成、故事生成等任务中。.2）在大数据自适应学习方面，提出了考虑领域监督信息和类别监督信息的自编码模型。针对弱监督、非直接监督信号的任务，研究了基于强化学习的系列方法,包括数据子结构发现，样本去噪，样本标记自纠正，多智能体合作式学习。所提出的多智能体合作式学习模型用于优化淘宝产品搜索的在线系统，每日稳定增收达到数千万元。.3）在大规模图像内容分析与理解方面开展了系列研究。提出了一个高度并行化的面对网络图片处理的算法框架，用于在分布式计算系统上同时解决部分重复图像的发现和视觉模式的表示两个问题。从图的角度提出了一个适用于大规模数据的挖掘方法，同时建模了实例层面的相似性和图像层面的上下文关系。建立了亿级规模的人脸照片数据库，及人脸查询系统，在亿级底库上实现了百级并发查询的秒级返回，满足了政府机关的实际需求。