专家评估LLM心理咨询回复的评分者间信度低

2026年10月20日，有报道称斯坦福大学一项研究显示，三名精神科医生对大型语言模型（LLM）生成的心理健康回复进行评分时，评分者间信度偏低，各维度组内相关系数（ICC）为0.087—0.295，三人平均后也没有维度达到0.6的良好标准。该研究构建90条合成心理健康提示，由四个LLM生成360条回复，专家从安全、共情、正确性、边界等八个维度按五点量表评分，共产生8,640个维度评分。目前该研究的具体发表状态与同行评审情况尚不清楚，事件进展有待后续报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。