认知诊断计算机化自适应测验属性信度的估计方法及应用

More and more researchers study cognitive diagnostic computerized adaptive test that combines advantages of computerized adaptive test and cognitive diagnostic test. Test reliability is very important in evaluating the quality of test. Assessing test reliability is typically an integral and critical step in data analysis. In diagnostic tests, reliability that mainly reflects the precision of score of measurement decision is reliability of attribute. How to analyze reliability of cognitive diagnostic computerized adaptive test is an important methodology issue that has not been addressed. In this project, we will commit ourselves to: (1) Explore estimation method for reliability of attribute of cognitive diagnostic computerized adaptive test; (2) Recommend methods to estimate the confidence interval of reliability of attribute of cognitive diagnostic computerized adaptive test. (3) Suggest methods for meta-analysis of reliability of attribute of cognitive diagnostic computerized adaptive test; (4) Apply new methods obtained in this project to case studies in order to verify the theoretical methods that we will propose or recommend.

认知诊断计算机化自适应测验结合了计算机化自适应测验与认知诊断测验的双重优势，是国内外研究的热点。信度是衡量测量质量的关键指标，估计信度是数据分析的必须前提和关键性步骤。在诊断类测验中，信度主要反映测量决策分数的精度，称为属性信度。目前，国内外尚无研究探讨认知诊断计算机化自适应测验的属性信度。本项目将进行以下研究：（1）探讨认知诊断计算机化自适应测验的属性信度估计方法；（2）探讨估计认知诊断计算机化自适应测验的属性信度置信区间的方法；（3）探讨认知诊断计算机化自适应测验的属性信度元分析方法；（4）用实测数据验证本项目提供或推荐属性信度估计方法。

认知诊断计算机化自适应测验结合了计算机化自适应测验与认知诊断测验的双重优势，是国内外研究的热点。信度是衡量测量质量的关键指标，估计信度是数据分析的必须前提和关键性步骤。本项目研究了认知诊断计算机化自适应测验的属性信度：（1）研究了认知诊断测验的属性信度，通过模拟研究，推荐了简单而准确地估计认知诊断测验的属性信度置信区间方法，为开发认知诊断计算机化自适应测验的属性信度奠定了基础；（2）初始阶段项目选择会影响认知诊断计算机化自适应测验的属性信度，本项目提出了四种认知诊断计算机化自适应测验初始阶段项目选择方法，通过模拟比较推荐较好方法；（3）提供了估计认知诊断计算机化自适应测验的属性信度方法；（4）通过模拟比较，推荐了认知诊断计算机化自适应测验的属性信度区间估计方法；（5）提供估计认知诊断计算机化自适应测验的属性信度元分析方法；（6）进行了系列实证研究，编制了《中小学教师心理健康的认知诊断计算机化自适应测验》，用实测数据验证本项目推荐认知诊断计算机化自适应测验的属性信度估计方法；为进一步开发准确测量农村小学校长、教师、员工、学生的心理健康的认知诊断计算机化自适应测验以及更好的促进其心理健康，还进行了系列实证研究，例如，农村小学校长工作满意度、工作绩效，教师职业倦怠、离职倾向，大学生就业创业、职业决策等，这些研究为进一步开发测量农村小学校长、教师、员工、学生的心理健康的认知诊断计算机化自适应测验奠定了基础。