基于模型的文本聚类关键技术研究及应用

With the rapid development of social networks like Twitter and Sina Microblog, people have become accustomed to obtain information from the social network, and share their views. The social networks are generating a large number of short text at all times. Text clustering is a basic step in many text processing tasks, such as document organization, summarization, content based recommendation and so on. Because of the sparse problem of short text, traditional text clustering algorithms are difficult to achieve the ideal effect. This project first attempts to study the short text clustering algorithm based on Dirichlet process multinomial mixture model and deep learning technology, which can solve the sparse problem of short text and can automatically detect the number of clusters. The text in the social network is essentially generated in the form of stream. This project further proposes a model-based clustering method for text streams, which can automatically discover new clusters and delete expired documents, so as to cope with the concept drift problem. Users may be interested in certain keywords, and hope to access the related information in the social network in real time. This problem can be abstracted as search result diversification of text streams. Based on the above streaming text clustering method and combining with PM-2 diversification algorithm, this project proposes an efficient model-based search result diversification method for text streams.

随着Twitter和新浪微博等社交网络的蓬勃发展，人们已经习惯于从这些社交网络中获取信息，并且分享自己的观点，每天有大量的短文本生成。文本聚类是许多文本处理任务的基础步骤，如文档组织、摘要、基于内容的推荐等。因为短文本的稀疏性特点，传统的文本聚类算法难以取得理想的效果。本项目首先尝试研究基于狄利克雷过程多项式混合模型与深度学习技术的短文本聚类算法，解决短文本的稀疏性问题，并能够自动发现簇的数目。社交网络中的文本本质上是以流的形式出现的，本项目进一步提出基于模型的流文本聚类方法，能够自动发现新的簇，以及删除过期文档，从而应对话题转移问题。用户可能对于某些关键词感兴趣，希望实时了解社交网络中与其相关的信息，这个问题可以抽象为流文本的检索结果多样化问题。本项目尝试在以上提出的流文本聚类方法基础上，与PM-2多样化算法相结合，提出高效的基于模型的流文本检索结果多样化方法。

文本聚类是许多文本处理任务的基础步骤，如文档组织、问答、基于内容的推荐等。因为短文本的稀疏性等问题，传统的文本聚类算法难以取得理想的效果。本项目围绕以下几方面内容开展了相关研究：1）研究了基于模型的短文本聚类算法。致力于通过将短文本表示学习和短文本聚类融合到一个统一的模型中来弥补两者之间的差距，进一步将鲁棒对抗训练引入到最终的模型中，有效地应对了短文本表示的稀疏性问题；2）研究了针对文本流的聚类算法，提出了一种基于模型的短文本流聚类算法，能够很好地处理概念漂移和稀疏性问题，进而提出基于用户专业知识建模的答案选择模型，考虑了静态和动态用户专业知识联合建模；3）研究了检索结果多样化建模方法，设计了一个基于图的顺序网络，同时对用户的动态和多样化兴趣进行建模；提出了一种微视频推荐模型，利用用户之间的相关性协作挖掘用户的多样化融合模式；设计了一个基于图引导的主题排名模型，为社区问答平台的问题推荐多样化的主题。.本项目实施过程中，项目组在国际有影响力的期刊和学术会议上发表（含录用）论文5篇，其中包括CCF A类长文3篇，CCF B类长文1篇。项目研究成果应用到山大-智洋人工智能联合实验室智慧电力项目，以及与河钢集团合作的智慧钢铁项目中。项目负责人作为参与成员获得山东省科技进步一等奖。