研究提出用因子分析替代相关法估计AI评分的评分者间信度

研究指出，将大语言模型（LLM）评分与专家评分做相关来估计评分者间信度（IRR）并不合适，因为相关法假设AI与人类评分平行，而这一条件难以成立。作者提出因子分析替代方案，把AI评分与专家评分建模为同一潜在构念的同质指标，以标准化AI载荷的平方估计AI的IRR。