斯坦福研究发现精神科医生对LLM心理咨询回复的评分一致性偏低

斯坦福大学研究发现，三名精神科医生对LLM心理健康回复的评分者间信度偏低，各维度ICC为0.087—0.295，三人平均后也没有维度达到0.6的良好标准。研究构建90条合成心理健康提示、由四个LLM生成360条回复，专家从安全、共情、正确性、边界等八个维度五点评分，共产生8,640个维度评分。