排序主题模型及其应用研究

Topic model is a kind of probabilistic model which can extract latent semantic structure from discrete data, and is effective to discover hidden meaningful topic from very large scale data. It can be applied widely in information retrieval, automatic summarization and recommender systems. Bearing the principle of focussing small topics, this project intents to research on one particular important topic model - - - ranking topic model. Two kinds of ranking topic models are proposed and to be applied in real-world applications: query-independent ranking topic models intent to get the ranked topic distributions without query words by evaluating relationships between terms and using active learning methods, and query-dependent ranking topic models intent to solve the problem of getting ranked topic distribution with query words by adopting learning-to-rank methods. Meanwhile, the project also intent to propose a new parametric inference method to enhance the model performance, which aims to reduce the computation complexity and raise the inference accuracy. At last, the project will apply the proposed ranking topic models to multi-document automatic summarization and academic paper recommender system. With two system established, the algorithms proposed in the project are evaluated and applied.

主题模型是近年来兴起的可以从离散数据集中自动提取隐含语义结构的一种生成概率模型，是从海量数据中发现隐含语义主题的有效工具，可广泛应用于信息检索、自动文摘及推荐系统等领域。本项目遵循"小题精做"的原则，对一类重要的主题模型- - 排序主题模型进行深入研究,主要针对两种排序主题模型开展算法及其应用基础研究：第一种是查询无关的排序主题模型，通过度量词项之间的关系并结合主动学习方法，解决没有查询词情况下获得有序主题分布的问题；第二种是面向查询的排序主题模型，借鉴排序学习的思想，解决存在查询词情况下得到有序主题分布的问题。其次，本项目还将进行主题模型的参数推断方法研究，力求在提高推断精度的同时尽可能降低计算复杂度。最后，本项目拟将所提出的排序主题模型应用于多文本自动文摘和论文推荐系统中，研制开发两套应用系统，达到既验证算法又促进算法实用化的目的。

主题模型(Topic Models) 是一种可以从大规模离散数据集中自动提取其中隐含语义主题的生成概率模型，是从海量数据中发现隐含语义主题的有效工具，可广泛应用于信息检索、自动文摘及推荐系统等领域。自2003 年提出以来，主题模型逐渐成为机器学习、自然语言处理、机器视觉领域中的重要研究课题，并且在文本挖掘、观点挖掘、社交网络分析、视频场景理解、蛋白质结构分析、金融数据分析等领域获得了广泛的应用。然而，随着待分析语料库规模越来越大，主题模型分析出的主题数目也越来越多，主题模型产生的结果越来越难以利用。. 本项目针对主题模型的发展、演化以及各种模型的特点，遵循"小题精做"的原则，对一类重要的主题模型- - 排序主题模型进行深入研究，主要针对两种排序主题模型开展了算法及其应用基础研究：第一种是查询无关的排序主题模型，通过度量词项之间的关系并结合主动学习方法，解决没有查询词情况下获得有序主题分布的问题；第二种是面向查询的排序主题模型，借鉴排序学习的思想，解决存在查询词情况下得到有序主题分布的问题。. 其次，本项目进行了基于主题模型的多文档自动摘要方法、主题模型过滤方法、主题模型优化方法、利用主题模型增加推荐系统的惊喜度以及主题模型与其它学习方法的融合等研究工作，此外还开展了主题模型的参数推断方法研究，力求在提高推断精度的同时，尽可能降低计算复杂度。. 最后，本项目将所提出的排序主题模型应用于多文本自动文摘系统、科技论文推荐系统和航运领域大规模文献的自动分类系统中，研制开发三套应用系统，达到了既验证算法又促进算法实用化的目的。