管理与决策大数据分析方法与个性化知识服务

Big Data has attracted great attention in both the scientific and industrial communities, and has become a critical strategic resource for both corporations and our nation. The data of the same subject might have multiple sources, and are stored in a decentralized way. The relationship between the data and the subject is presented implicitly. All fractions of data reflect some facet of the subject. The "debris" existence of big data is an emerging trend. Confronting such kind of Big Data, traditional machine learning methods are not only facing the problem of data "volumes", but also handling knowledge "quality" in the knowledge discovery process. The investigation on intelligent analysis that are able to process "debris" Big Data is practically significant. Motivated by this, this proposal presents three key scientific issues in Big Data, that is, seeking the data representation and learning patterns, revealing the mechanism of knowledge fusion and evaluation, construct the model of personalized context awareness and knowledge adaptation. More specially, we investigate a series of novel and groundbreaking theories and methods for Big Data in this proposal, including data representation for multi-source hierarchical data, on-line learning in the dynamic and uncertain environment, knowledge fusion and emerging property analysis, the key technologies in evaluation of knowledge emerging, context awareness based on personality and social personalities, knowledge adaption model, and so on.

大数据已成为科技界和企业界关注的热点，是企业和国家的重要战略资源。由于大数据分析中同一主题的数据常常来源广泛、存储高度分散化、及之间的关系隐式存在、反映主题的不同方面，这样的“碎片化”存在形式，是大数据出现的新特征，面对碎片化大数据，传统的机器学习理论与方法不仅面临数据“量”的问题，而且面临知识获取中“质”的问题。研究支持碎片化数据的智能分析方法与个性化知识服务具有非常重要的现实意义。本课题以大数据中知识表示、在线学习与个性化知识服务的三个科学问题为核心，即寻求碎片化多元多源异构知识表示与学习规律，揭示碎片化知识融合与评估机理，构建个性化情景感知与知识适配模型，重点研究多源异构知识表示、动态不确定环境下在线学习、知识融合与涌现特性分析、知识再增殖评估关键技术、个性化、社会性情景感知技术，以及个性化知识适配模型等一系列具有创新性及突破性的大数据学习的新理论与新算法。

本项目在执行期间对管理与决策大数据分析方法与个性化知识服务进行了研究，并开展了个性化知识服务示范应用。项目在理论研究及具体应用方面均取得了重要成果，相关概述如下：.1）.提出改进的稀疏贝叶斯模型。结合流行正则化及图的稀疏先验的学习算法利用样本数据的流形信息，可以去除无关的标签样本，对样本外数据进行预测。并通过融合截断高斯分布和拉普拉斯估计，可为分类任务同时选择相关特征和样本，有效提升了模型对于碎片化知识的表示与学习能力。.2）.提出在模型空间中进行知识度量以及基于马尔可夫毯的评估方法。算法同时结合序列数据的动态信息和标签信息，能有效表示数据的生成模型，并通过动态状态规整进行知识的对齐，得到知识距离度量结果，为进一步知识融合提供基础；无因果充分性的马尔可夫毯挖掘算法采用最大祖先图模型来表示数据间潜在联系，提高了数据间关联关系挖掘的准确率。.3）.提出改进的文本表示方法与词嵌入模型。潜在主题文本表示学习框架利用统计流行测量文本距离来对文本进行分类，感知不同文本的潜在主题；词嵌入优化模型融入可靠的语义词典提高了辨别反义词和同义词的能力；基于相似性的中文词和字联合学习方法可以进行汉字消歧以及识别非结构词实现知识的有效适配。.4）.开展个性化知识服务示范应用。面向知识产权诉讼的个性化智能问答平台基于自然语言理解和知识图谱，融合海量的法律知识，探索问答系统中的信息检索、知识推理等技术在司法领域的应用，为用户提供专业且个性化的法律知识服务；面向慢病大数据的个性化智慧诊疗辅助工具利用在线学习技术，融合专家知识与海量互联网碎片化知识，对医疗数据进行分析，为患者提供个性化的防治建议和诊疗服务；面向测绘领域的知识服务系统通过对测绘领域标准规范与网络资源进行融合与分析得到知识的主题表示，并在构建的领域本体上对知识进行关联表示，为用户提供相关专业培训、知识问答、事故分析等个性化服务。