基于共词分析的科学计量信效度研究

Based on the Co-words Analysis, researchers among Scientometrics have performed a lot of research projects and achieved fruitful findings. However, the reliablity and validity of the Co-words Analysis remains vague. Present study attempts to investigate the reliability and validity of Co-words Analysis systematically based on the 3 dimensions. Firstly, this study will focus on the consistency of basic analysis units of Co-words Analysis. secondly, present study will make a validity analisys through Face Validity, Content Validity, Criterion-related Validity, Convergent Validity, Discriminate Validity assessment, Thirdly, split-half reliability index, copies of reliability index and Cronbach α coefficient are involved for reliability analysis. Forthly, we will apply the factor analysis, time series analysis and regression analysis for the exploration of related factors which may affect the Co-words Analysis and their efficiency. Fifthly, we will construct a consult index system of reliability and validity for Co-words Analysis. Through above research prodedure, present study aims to complement the vague among Co-words Analysis within cientometrics and put forwards the intergration of findings of Co-words Analyis. Finally, we wish to promation the Co-words Analysis both on the theortical development and application.

基于共词分析，国内外科学计量领域业已产生丰富的研究成果，但共词分析的信度和效度问题至今并未得到系统考察。本课题将以共词分析的基本分析单元、效度和信度为三个基本维度，对共词分析的各项信度和效度指标进行系统考察，据此对共词分析的科学性做出评估。首先，本研究将对共词分析基础性指标选择标准和应用结果的一致性进行梳理；其次，通过计算表面效度、内容效度、效标关联效度、聚合效度和区别效度，对共词分析的效度做出评估；第三，通过计算折半信度、复本信度和内部一致性系数，对共词分析的信度做出评估；第四，应用因子分析、时间序列分析和回归分析，对影响共词分析的相关因素及其预测效率进行分析；第五，在上述工作的基础上，初步构建对共词分析进行效度和信度评估的参照指标体系，以期补充现有科学计量研究中对共词分析信效度水平认识的不足，推进科学计量领域基于共词分析相关研究发现的整合，最终促进共词分析的理论发展与实践应用。

本课题的研究背景是，共词分析虽已得到广泛应用，但其信效度问题一直没有得到系统的检验，从而使其应用受到了局限。本课题的主要研究内容集中在共词分析指标与工具的信度和效度检验方面。具体而言，本研究设计了六个单项研究和一个综合性研究，分别从科学文献的题名、摘要、关键词和全文入手，对共词分析在研究热点识别、研究领域聚合和研究前沿探测方面的效标关联效度、内容效度、表面效度、聚合效度、区别效度和基于重测的信度进行了检验，并对影响共词分析的诸因素进行了探析，从而构建了一个完整的共词分析参照指标体系。本课题的研究成果主要包括：首先，对共词分析在不同科学文献的不同分析单元上的信效度进行了系统性评估，形成包括两组专题论文在内的系列研究论文。其次，对当前通用的科学计量工具所采用的指标和工具进行系统检验，证实了不同计量指标在解决不同类型的计量问题时所产生的信效度差异。本课题的价值在于，全面检验了不同的分析单元、方法和工具在解决不同类型的科学计量问题时的信度和效度，揭示了共词分析科学化的基础和前提，从而为图书馆情报学等领域推进科学评价、科技文献内容特征的揭示和知识结构的表征奠定了基础。本课题获得了一大批卓有价值的关键数据，具体包括：构建了由13万条题录数据组成的英文语料库和5万余题录数据组成的中文语料库；应用自然语言处理的方法，对中、英文语料库存中文献的题名、摘要和全文进行了词频分析，并联同关键词一并构建了共词矩阵，形成了一批大规模的共词分析基础数据集；应用Python及Stata等分析工具，形成了一个较为完善的共词分析信效度检验结果数据集。这些数据的积累，不仅为本研究的顺利完成提供了保障，也预期能够为后续研究的展开提供坚实基础。本课题的科学意义在于，本研究的展开有效弥补了科学计量领域对共词分析信效度认识的不足，从而将不仅有助于促进共词分析走向科学化，也将对促进共词分析乃至科学计量领域相关基础理论的深化发展产生积极影响。