大数据环境下个性化服务推荐实时性提升方法研究

In Internet and big data environment, a benign ecological tendency that supplies by massive services and instant requirement by large amount of users coexist has gradually appeared. As personalized service recommendation can match between services’ supplies and users’ requirements precisely and effectively, it has been receiving a considerable attention. However, the problem of real-time of the personalized service recommendation has seriously affected the satisfaction of users and the expansion rate of the service applications. In view of this issue, techniques of data mining and big data processing are to be applied to decrease the data size and parallelize the computing process for accelerating the real-time of personalized service recommendation approach. Concretely, first, a topic model is to be used to mine service features. Services will be clustered base on the feature similarity between services. And only the services which belong to the cluster that the target service belongs to are reserved. Second, Logistic model is to be used to compute a user’s interesting in a service. Users will be clustered according to the interest similarity. And only the users who belong to the cluster that the active user belongs to are reserved. Third, Bayes model is to be used to choose the effective contexts which are related to the recommendation target. These contexts will be generalized. And the users whose contexts are inconsistent with the active user will be filtered. At last, a parallel collaborative filtering algorithm is adopted to recommend service efficiently and rapidly based on filtered services and users.

在互联网与大数据环境下，已呈现出一个海量服务供给与大规模用户即时服务需求共存的良性生态。个性化服务推荐因可实现精准、高效的服务供给与需求的匹配而倍受关注，但推荐的实时性问题严重影响用户的满意度，制约服务应用的扩张速度。针对该问题，本项目拟结合数据挖掘技术和大数据处理技术，从减少需实时处理的数据量和并行化计算过程入手，研究个性化服务推荐实时性的提升方法。具体而言，首先采用主题模型从服务描述中挖掘服务特征，并根据服务特征相似度进行服务聚类，仅保留与目标服务同属一簇的服务；其次，采用逻辑斯蒂模型基于服务记录计算用户对服务的兴趣度，并根据兴趣相似度进行用户聚类，仅保留与活动用户同属一簇的用户。同时，采用贝叶斯模型选择与推荐目标有相关的有效上下文，并将之泛化为一般性概念，过滤与活动用户的上下文不一致的用户。最后，基于过滤后的服务和用户，采用并行协同过滤算法实现高效、快速的个性化服务推荐。

大数据环境下，用户及服务特征数据呈现体量大、增长快、多源异构、高维等特征，服务推荐的实时性问题已成为服务应用的瓶颈。针对该问题，本项目一方面，采用聚类和分类技术将服务划分为类，仅在与用户需求相关的一个或若干个类中进行推荐计算，减少需实时处理的数据量；另一方面采用并行技术和加速技术加快实时推荐计算速度，提升个性化服务推荐的实时性。主要包括：1）针对服务描述文本较短，导致主题模型训练不足的问题，提出利用Wikipedia语料库增强服务描述表达能力，实现了基于HDP主题模型和SOM神经网络的服务聚类方法；2）针对外部语料库可能引入不相关主题的问题，提出利用与组合服务主题相关的组件服务描述扩充组合服务描述，实现了基于多描述主题的服务聚类方法；3）针对服务描述所用词汇表差异可能导致语义不一致等问题，提出利用网络嵌入模型从服务关系网络中学习服务的低维向量表达，实现了关系网络增强的服务聚类方法；4）针对现有服务分类技术忽略了服务描述文本内部词与服务描述文本之间隐含的网络结构信息等问题，提出根据服务描述文档之间的词共现和词关系，构建“词&服务描述文档”异构图网络，实现了基于图卷积神经网络的服务分类方法；5）针对现有的文本表示方法没有考虑不同的词对分类的贡献不同和特征词与上下文信息之间的语序等问题，提出增强话题注意机制的分类方法；6）针对短文本建模的稀疏问题，提出利用广域学习模型对服务类别的广度进行预测，利用神经网络模型挖掘服务描述文档中单词的词序和上下文信息，实现了基于Wide和Bi-LSTM模型的服务分类方法；7）针对协同过滤算法的运行效率随用户和项目规模的增大而降低的问题，提出利用非负矩阵分解进行数据降维和特征提取的优势以及多核并行计算模式，进行维数简化和用户的相似性计算，实现了基于GPU的非负矩阵分解的并行协同过滤方法。在真实开放的数据集评估以上方法，实验结果表明，所提方法改进了服务分类、聚类的准确性以及推荐的实时计算效率。