基于多源异构数据的IPTV多任务联合数据分析研究

Big data analysis based on IPTV has received constant attention. The analysis of user interaction facilitates the descriptions of user and program, benefiting the user and program modeling, program recommendation, user and program classification and the analysis of audience and the loss of customer. Therefore, it is important for customer, content provider and service provider. Most existing methods, however, are deficient in the use of data and the design of model. On the one hand, it is inadequate to effectively describe the program and user only according to the program viewing data. On the other hand, it ignores the correlation between multiple tasks to analyze data for just one task. To solve the problem of “how to improve the performance of user modeling and program recommendation in IPTV data analysis”, this proposal plans to integrate the heterogeneous information from multiple sources with the original program viewing data and jointly optimize the tasks of user modeling and recommendation. By modeling the correlation among multiple information, the ambiguity and noise inside of viewing data can be alleviated. It meets the demand of performance improvement on the data diversity. By jointly solving multiple tasks including user modeling, program recommendation, relevance among multiple tasks can be deeply explored. It makes the improvement possible from model view. Combining the improvements from both data and model, the project is to implement a practical and accurate IPTV big data analysis system.

近年来基于IPTV的大数据分析受到了持续的关注。通过分析用户交互数据可以获取用户和节目特征，并基于此进行用户与节目建模、节目受众分析、内容推荐、用户流失分析等，这对终端用户、内容提供商和服务提供商都有着十分重要的意义。然而，现有的方法在数据使用和模型设计上都存在问题。从数据使用角度，单纯使用观看数据无法很好的刻画用户及节目特征。从模型设计角度，针对单一任务开展的数据分析忽略了多个任务之间的相关性。针对“如何提升IPTV中用户建模和推荐系统的精确度”这一难题，本项目拟从融合多源异构信息与传统观看记录及联合优化用户建模和内容推荐两个相关任务的角度开展研究。一方面通过刻画多源异构信息之间的相关性消除原有观看记录中的歧义性和随机性，从数据层面支撑性能的提升；另一方面通过联合优化用户建模、内容推荐等多个相关任务来深度挖掘其关联性，从模型角度保证性能的提升。实现一套精准实用的IPTV大数据分析系统。

近年来基于IPTV的大数据分析受到了持续的关注。通过分析用户交互数据可以获取用户和节目特征，并基于此进行用户与节目建模、内容推荐、节目受众分析、用户流失分析等，这对终端用户、内容提供商和服务提供商都有着十分重要的意义。然而，现有的方法在数据使用和模型设计上都存在问题。从数据使用角度，单纯使用观看数据（用户节目交互数据）无法很好的刻画用户及节目特征。从模型设计角度，针对单一任务开展的数据分析忽略了多个任务之间的相关性。因此针对“如何提升IPTV中用户节目建模和推荐系统的精确度”这一难题，本项目首先从融合多源异构信息与传统观看记录这个角度展开，通过刻画多源异构信息之间的相关性消除原有观看记录中的歧义性和随机性，从数据层面支撑性能的提升。重点研究了融合单边信息的知识图谱推荐、社交推荐和融合双边信息的混合推荐。在每个部分都提出了新的模型并验证了模型在提高推荐精度上的优势。同时，联合优化用户节目建模和内容推荐两个相关任务的角度开展研究。主要研究了图神经网络的基本原理、相关技术要点，并将其应用到推荐领域，图神经网络通过信息传播能够有效地挖掘异构网络中的高阶关联信息，并实现了用户节点和节目节点的准确建模，最终根据模型完成内容推荐。最后，将提出的多种推荐模型在IPTV数据集上进行测试，搭建基于 Spark 的并行化处理系统，在天津市联通 IPTV 数据上进行了试用。