网络舆情监控中衍生命名实体高效能识别恢复理论与关键技术研究

When supervising the network public opinion, since the derivative words emerge as abbreviation, homophones, dialect etc and substitute the theme words, the conventional thesaurus alignment based method leads to misclassify a lot of important information as useless data. To solve the previous problems, 1. We build up the discrimination system of the derivative terms. to narrow the scale of the research target, and set the evaluation criteria of recovery; 2. We devise the strategy to identify and recover the variant terms based on the high efficient deep DBN with the similarity embedded in；3. To solve the problem of using the abbreviation, we devise the identification model of the sensitive abbreviation based on the deep convolutional neural network, and the extended HMM to recover the abbreviation; 4. To solve the usage of the Pinyin, dialect, and oral language and so on, we about to devise the recovery strategy of the homophones of the key words based on the dynamic interactive network structure；5. We devise the multi-parallel high efficient deep learning method, resource schedule strategy, and the automated serial-parallel converting method to improve the performance of the deep learning method. With the above research, the efficiency and speed of the extraction of the data of the public opinion can be improved. The ability of the supervision of the public opinion can be improved either. The field of the network content security can be enriched and innovated further.

网络舆情监控中，当采用基于词库比对方法时，因为主题词被缩略语、近音词、方言、变体等衍生命名实体替代，所以导致主题词词库不完整，进而使含有重要信息的数据被误判为无用数据。针对上述问题：1.搭建衍生命名实体的分类判别体系，缩小衍生命名实体识别的研究对象范围、设定还原评价准则。2.构建多语境下基于深度DBN敏感度嵌入的变体识别与恢复方法，解决借用变体等衍生命名实体问题；3.构造基于高效能深度卷积神经网络的敏感性缩略语识别与基于扩展的隐马尔科夫还原模型，解决缩略语表达问题；4.拟构造基于动态交互式网络结构近音还原策略，解决借用拼音、口语、近音、方言等衍生命名实体问题；5.研究多粒度并行的高效能深度学习、资源调度分配、自适应串并行改造通用理论方法，最大地提高深度学习的效率。本研究能提高网络舆情数据的抽取准确率与速度，提高网络舆情监管能力。该理论与方法是对网络内容安全领域的进一步丰富和创新。

网络舆情监控中，当采用基于词库比对方法时，因为主题词被缩略语、近音词、方言、变体等衍生命名实体替代，所以导致主题词词库不完整，进而使含有重要信息的数据被误判为无用数据。针对上述问题：1.设计了基于耦合神经网络的衍生命名实体的分类识别还原模型，在融合了语音语义特征基础上，实现对近音词、缩略语、同义词三类衍生命名实体的分类识别与还原；2.设计基于知识图谱嵌入的中文人名命名实体的消歧识别研究，实现对网络中文命名实体的歧义识别、共指识别；3研究基于多元特征融合的社交网络文本实体指代一致性研究，实现融合了拼音特征、词性特征、实体类型特征、位置特征、上下文语义特征，在自编码器层SDA采用堆叠式降噪进行编码，再利用transformer分类器进行识别还原；4.研究协同中文截略语的识别还原，实现在经过了SVM的预处理后隐马尔科夫随机场的中文截略语的识别还原；5.研究卷积神经网络的多粒度并行及优化研究，研究多粒度并行的高效能深度学习、资源调度分配、自适应串并行改造通用理论方法，最大地提高深度学习的效率。本研究能提高网络舆情数据的抽取准确率与速度，提高网络舆情监管能力。该理论与方法是对网络内容安全领域的进一步丰富和创新。