具有反馈机制的科技论文内容质量可计算化评价模型研究

[Purpose] In the existing evaluation methods of papers, the scientometrics methods do not support instant evaluation, and the objectivity of peer review is easily affected. Furthermore, peer review is time-consuming and cost a lot, which affects the dissemination efficiency of scientific research results. The purpose of this study is to propose an instant evaluation model for papers that can be calculated by machines and give feedback on revisions. [Methods] This project evaluates the quality of the paper from two perspectives: "innovative" and "argument validity". It ' s suggested to use the semantic knowledge network to express the innovation of the paper, and then build a computable innovative evaluation model based on the disturbance features of the existing knowledge network. At the same time, based on the idea of risk control, a quantitative evaluation model of the validity of the paper's argumentation is proposed by detecting the absence of the argument elements. [Expected Results] Build the framework of a real-time automatic evaluation model for the quality of the paper. The model is expected to be able to give important feedback such as modification advice to help the author improve the quality of the paper. [Innovations] 1) The paper proposes the concept and goal of “computable automatic evaluation”. 2) Use the semantic knowledge network disturbance model to achieve computable evaluation of innovation. 3) Incorporate the argument validity into the consideration of the quality evaluation model of paper. 4) The evaluation model supports the feedback mechanism of modification suggestions.

【目的】在现有论文质量评价方式中，计量学方法不支持即时评价，而同行评审客观性易受影响，更存在时间周期长、成本高的问题，影响了科研成果传播效率。本研究旨在提出一种可由机器计算并能给出修改意见反馈的论文即时评价模型，为人工同行评价提供参考和辅助依据，提高同行评价的效率。【方法】本项目从“创新性”与“论证合理性”两个角度评价论文内容质量。运用语义化知识网络表达论文创新点，然后基于论文对已有知识网络的扰动特征构建可计算化创新性评价模型。同时，基于风险控制思想提出通过检测论证要素的缺失度来对论文论证合理性进行量化评价。【预期成果】实现论文质量的实时自动评价，同时给出评价依据、修改意见等重要反馈，帮助作者改进论文质量。【创新点】1）提出论文“可计算化自动评价”的概念和目标。2）运用语义化知识网络扰动模型实现创新性的可计算化评价。3）将论证合理性因素纳入到论文质量评价模型的考虑范畴。4）评价模型支持修改意见反馈机制。

鉴于传统论文内容质量评价方法中文献计量学方法时效性低、无改进反馈信息，而同行评审周期长、效率低，影响科研成果传播效率的问题，本项目旨在提出一种由机器自动计算并给出关于论文内容质量评估意见反馈的论文即时评价方案和算法模型。.本项目就论文内容质量可计算化评价研究，主要完成了以下几项工作。（1）提出Problem-Solution-Network（PSN）语义化知识网络扰动模型来评价论文内容新颖程度。在创新度分级评价模型、语义知识网络构建、语义实体识别、扰动模型验证方面进行了广泛而深入的探索。提出了一种基于仿射传播聚类和随机森林的问题实体解析无监督机器识别算法，有效提高了海量文本中相同语义实体的识别效率和准确率。这一研究成果可以进一步扩展到文本知识挖掘和知识图谱构建。（2）提出并实现了基于论文论证要素缺失度检测的算法模型对论文论证完整性合理性进行自动量化评价。改进传统的以句法分析和关键词为主的论证要素识别算法，引入深度学习检测方法，构建论文摘要论证要素语料库。在深入理解Attention机制和Transformer网络原理的基础上，定制训练BERT/ERNIE大规模自然语言预训练模型，在ERNIE+CRF框架下研究得到根据语义自动识别提取论文论证关键要素的有效方法，F1值达到0.89，揭示了运用机器阅读理解进行论文摘要论证要素提取的可行性和优势。.该项目取得了多项理论性和应用性研究成果。在项目的支持下，已发表SCI学术期刊论文1篇，国际EI会议论文2篇，申请国家发明专利1项。另有已录用尚未发表的SCI论文2篇，审稿状态论文2篇。协助培养智能文本信息处理研究方向的研究生6名。另外，项目建立多个用于论文自动评价模型训练的中英文数据集，组织举办5次深度学习技术研讨会，将课题组掌握的Transformer神经网络模型技术知识改进拓展到图像分割、材料计算等多个相关研究领域，对相关跨学科领域的研究起到重要推动作用。该项目在具有反馈机制的论文要素完整性自动评价方面取得的研究成果，基本达到可实用化程度，为论文内容质量可计算化评价的推广提供了重要基础。