基于机器学习的社交网络垃圾检测技术研究

The various types of spams that appear in the social network greatly constrain its credibility and availability, affecting the provision of a secure cyberspace for the user. The spam detection algorithm based on machine learning is one of the main technologies to prevent social network spam, but the current algorithms mainly rely on the single type of spam and the method of using manual annotation of input data, and don’t consider the spammer has the characteristic of the core members, resulting in low accuracy in spam detection and increasing the cost. This project intends to combine the multi-type characteristics of social network, and on this basis study the feature selection method for spam detection in social network, the spam detection method based on multi-view cooperative training in social network, the multi-level spammer detection method based on clustering and classification algorithm in social network, the detection of the core members of the spam user group in the social network and other key technologies in depth. The complete system of spam detection technology based on machine learning is formed. This project improves the accuracy of spam detection and reduces the cost too. As a result, the development of spam detection technology and engineering applications are promoted.

社交网络中出现的各类垃圾导致其可信性和可用性受到极大制约，影响到为用户提供一个安全可用的网络空间环境。基于机器学习的垃圾检测算法是防范社交网络垃圾的主要技术之一，而目前算法主要依赖于垃圾信息中的单视图特征和采用人工标注数据的方法，且没有考虑垃圾用户具有核心成员这一特性，导致垃圾检测准确率、精确率和召回率降低、成本昂贵，且无法从根源上对社交网络垃圾进行遏制。本项目拟结合社交网络中的多视图特征，深入研究社交网络中垃圾检测的特征选择方法、社交网络中基于多视图协同训练的垃圾信息检测方法、社交网络中结合聚类和分类算法的多层次垃圾用户检测方法、社交网络中面向垃圾用户群核心成员的检测方法等关键技术，形成基于机器学习的垃圾检测的完整体系，改善垃圾检测的准确率、精确率和召回率，降低检测成本，推动垃圾检测技术的发展和工程应用。

社交网络具有多元化和平民化的传播特点，展现出高度的实时性与互动性。它不仅成为了一种重要的信息传播载体，而且充分发挥着社会舆论的作用。社交网络涉及两个需要解决的科学问题，一个是面对社交网络用户规模庞大如何快速准确地检测出垃圾信息和用户的问题；另一个是如何检测分析出垃圾用户群中的核心成员以支撑网络舆情事件的监控。.针对上述问题，研究了一种混合特征选择方法，将ReliefF算法与和声搜索算法相结合，提高算法效率，使算法能够更快地收敛得到最小规模特征子集，为社交网络中的垃圾检测算法提供基础。利用多视图协同训练算法检测垃圾信息，实现用未标注样本来提高分类学习的效果。同时完成对垃圾信息的检测，垃圾信息检测的精确率达92%以上，召回率达90%以上，达到及时遏制垃圾信息传播的目的。以减轻因垃圾信息泛滥带来的经济损失。根据社交网络垃圾用户数据的特点，提出了一种结合机器学习中的聚类和分类算法的多层次垃圾用户检测方法，垃圾用户检测的精确率达到92%以上，召回率达到90%以上，以适应不断变化的垃圾用户特征，预测出社交网络中的安全威胁，达到主动防御的效果。研究垃圾用户的关系特征，改进PageRank算法，对垃圾用户影响力进行排名，为挖掘上层核心成员提供理论与现实依据，垃圾用户群核心成员检测的精确率达到93%以上，召回率达到90%以上，实现对垃圾用户群核心成员的检测，从根源上监控垃圾信息的发布。.本课题的研究将有助于为用户提供一个良好的网络环境和用户上网体验，减轻社交网络平台的运营成本，支撑政府的舆情监控与预测，净化网络空间，促进互联网产业健康快速发展。