基于证据链的学术影响力定量评价方法研究

In China, citation based quantitative evaluation of research impact has become more and more popular. However, due to the limitations of citation indicators, and "evidence pollution" phenomenon such as "distortion" or even "false" citation data caused by increasingly complex cited motives, we are required to rethink the new quantitative evaluation method of research impact. Thanks to the Big Data technology nowadays, the emergence of Altmetrics has provided possibilities to explore new evidences and so as to explore indicators for research impact evaluation. However the credibility of evaluation results would be greatly reduced if hastily using the Altmetrics data. In this project, we proposed to build evidence chain based research impact evaluation approaches, which is to adopt the concept of evidence chain, explore the evidence nods data (such as the Altmetrics and citation data) from publishing to being influential, and further develop the quantitative evaluation methods and tools through the intrinsic logical relationship within the evidence chain and node data. This research aims to improve the reliability of the quantitative evaluation of research impact and better serve the scientific and technological management at all levels in China, and provide ideas and suggestions for future research evaluation.

在中国，以引文数据为基础的学术影响力定量评价发展已经较为成熟。但由于该类指标的局限性，加上日益复杂的引用动机导致引文数据“失真”甚至“造假”等“证据被污染”现象时有发生，这迫使我们重新思考学术影响力的新定量评价方法。得益于网络时代的大数据技术，Altmetrics的出现为挖掘学术影响力的新证据提供了可能，有望建立评价学术成果学术影响力的新评价指标体系，但贸然将社会因素强烈的Altmetrics数据用于学术影响力定量评价势必会使评价结果可信度大打折扣。本课题拟遵循证据链思路，以Altmetrics和引文数据为基础，挖掘并建立学术成果从公开发表到产生学术影响力的证据链，利用有内在逻辑关系的传播证据链及节点数据，基于检验证据指向一致性的思想，进一步发展基于证据链的学术影响力定量评价方法和工具，从而提高学术影响力定量评估结果的可靠性，更好地服务于我国各层面科技管理工作，为我国科技评价改革提供思路。

在当前引文数据质量参差不齐、引用动机复杂难辨的背景下，使用单一引文数据源开展的学术影响力评价难以保证结果的准确和公正。而当前蓬勃发展的各类Altmetrics平台为科研评价和管理提供了新的信息源，也为克服单一引文数据指标的弊端带来了可能。本研究提出了一种利用Altmetrics 数据和传统引文数据构建共同学术影响力评价证据链，进而基于证据链开展整体学术影响力评价的创新方法。本项目开展了主要Altmetrics指标数据的分类和数据质量对比研究，完成了Altmetrics证据链的数据内容、特点和演化研究；从因果关系推论出发，基于证据链和贝叶斯算法原创性地提出了基于证据链的影响力定量评价理论与方法；在实证研究中检验了该方法的有效性，并与传统的基于引用的影响力评价方法进行了一致性和差异性分析。.研究结果显示：1）学术影响力的产生源于正面施引及其他多种复杂因素，是典型的“多因一果”情形。学术影响力评价不仅需要关注引文数，还要对导致引文数产生的特定因果链条的合规性、合理性进行甄别和评判，构建证据链是进行甄别和评判的有效手段之一。2），由于各类Altmetrics 指标统计口径有含混、重叠之处，在使用不同Altmetrics 平台的数据信息时需对该类数据或指标的来源、内涵、范围等进行梳理和判断。3）基于证据链的学术影响力评价方法本质上是将绝对值的影响力转化为影响力概率估算，贝叶斯统计法和证据推理方法可以实现上述转化，在学术期刊的影响力评价和研发人才的绩效评价等实证研究中证实了该方法的可行性和有效性。.基于证据链的学术影响力定量评价方法在评价信息源方面融入了更多类型、维度的评价信息，突破了非结构化零散证据在科研评价中的局限，证据链中多元证据间相互补充印证的关系增强了评价信息的全面性和可靠性，并能够很大程度上消除当前“受污染的”科学计量数据影响，提升了评价结果的准确性和客观性，为克服“唯结果”式科研评价的弊端提供了新的可能。