Personnel Psychology· Andrew B. Speer·· 2026-07-09AI 评分52
研究提出用因子分析替代相关法估计AI评分的评分者间信度
Inter‐Rater Reliability of AI Scores: A Call to Move from Correlational to Factor Analytical Estimation
AI 导读
研究指出，将大语言模型（LLM）评分与专家评分做相关来估计评分者间信度（IRR）并不合适，因为相关法假设AI与人类评分平行，而这一条件难以成立。作者提出因子分析替代方案，把AI评分与专家评分建模为同一潜在构念的同质指标，以标准化AI载荷的平方估计AI的IRR。
来源：Personnel Psychology · onlinelibrary.wiley.com