题组多选题认知诊断的测验编制、模型研发及CD-CAT系统设计

Existing cognitive diagnostic researches pay less attention to the influence of local item dependence and diagnostic information from distractors. So, there are a lack of concern for some significant issues, such as principles, requires and steps to construct testlet-based cognitive diagnostic tests of multiple-choice items, a workable testlet-based multiple-choice cognitive diagnostic test, cognitive diagnostic testlet model for multiple-choice items, and system development of testlet-based multiple-choice cognitive diagnostic computerized adaptive testing (CD-CAT). For these problems, this project will make an innovation from four studies as follows. First, some viable principles, requires and steps to construct testlet-based cognitive diagnostic tests of multiple-choice items are proposed based on the characteristics of this kind of test. Then, some simulation studies will be implemented to examine the validity of these principles and requires. Second, construct testlet-based cognitive diagnostic tests of elementary school students’ reading comprehension ability of modern chinese prose under the guidance of the first study, and the psychometric properties of the test will be analyzed. Third, the cognitive diagnostic testlet model for multiple-choice items is proposed, along with the estimation algorithm of item and examinees parameters. Last, the system of testlet-based multiple-choice CD-CAT will be developed, including testlet-based multiple-choice item selection methods, some nonstatistical constraint, and termination rules. The construction of the test is based on various techniques, such as cognitive analysis approach, expert rating method, and thinking aloud et al. Using mathematical argumentation and algorithm derivation, the validity of development of the model and the system will be investigated via some simulation and empirical studies. Through the studies in this project, the methodological guidance on construction of test is provided, more important, the operable test booklet, the cognitive diagnostic testlet model for multiple-choice items, and the system of testlet-based multiple-choice CD-CAT are all access to users expediently.

现有认知诊断研究较少考虑题目依赖性的影响、干扰项的诊断信息，未能关注下述4个问题：编制题组多选题诊断测验的原则和要求、可使用的题组多选题诊断测验、处理题组多选题诊断数据的模型、题组多选题认知诊断计算机化自适应测验(CD-CAT)的系统研发。针对这些问题，本项目拟开展4个研究：①针对题组多选题诊断测验特点，提出测验编制原则、测验质量评价标准及编制步骤。②编制小学生现代文阅读理解的题组多选题诊断测验。③开发能处理题组多选题诊断测验数据的模型。④进行题组多选题认知诊断计算机化自适应测验的系统设计。通过数学论证和算法推导，结合模拟和实证研究探讨测验编制方法、模型、系统的有效性，使用认知分析法、专家评定法、出声思维等技术编制实际测验，以解决上述问题。通过本项目研究，能为优化题组多选题效能、编制诊断测验提供方法指导，开发测验题本、诊断模型及其数据分析工具、题组多选题CD-CAT系统供测验使用者使用。

在认知诊断研究中，不同测验类型（如题组和非题组）和数据结构（如是否存在过程性数据），不同估计方法（如参数模型和非参数方法），不同个体背景信息（如SES、地域等人口学信息），测验中存在的缺失数据情况（如随机缺失、非随机缺失、完全随机缺失）等情况均会影响个体认知结构的诊断精度，若诊断精度不高，对于学生的学习现状及提供的个性化教学补救措施就无法有效落地。本项目从以上方面开展了认知诊断评估的系列研究。.首先，基于题组测验背景完成了多级评分认知诊断模型PCDTM的开发，并基于完全贝叶斯的MCMC算法，实现了新模型的参数估计。研究表明：(1)PCDTM在各条件中均能得到良好的参数估计结果；(2)随着样本量、题目质量、题目数量增加，参数估计精度提高；(3)忽视题组效应，被试判准率和题目参数精度降低，甚至发生混乱；(4)模型对实证数据的拟合更优，生态效果更好。建议使用该模型时，样本量不低于1000，题目数量不少于20题。为测验工作者分析数据提供了可行的方法。.其次，基于非参数的优势提出了能够兼顾MC题目中干扰项信息的诊断方法，极大地提升了对个体知识状态的估计精度，模拟和实证研究均表明新的方法不仅可以有效融合干扰项信息，并且高效准确。.第三，开发出了能够处理协变量信息的诊断模型，实现将心理学研究中常见的协变量，如SES、前测成绩等因素控制的前提下，能够排除额外因素对诊断结果的影响，从而优化了传统模型的不足，实现能够同时处理连续和离散额外变量的方法。.第四，在认知诊断测验中比较了不同处理缺失值的方法对诊断精度的影响，并通过模拟和实证研究在三种缺失机制下探索了对诊断结果的影响，推荐实际分析数据时使用EM或FIML对确实数据进行处理。.最后，将计算机能够记录下的过程性数据，如反应时、按键次数等融入到诊断过程中，提出了能够处理反应时数据的诊断模型，通过研究表明：新模型可采用MCMC算法实现参数估计，估计精度较高。