研究提出测量风险而非伤害：检测大模型对话中的心理伤害风险因素

由于心理伤害可能在反复交互中逐渐显现，并且强烈依赖于个体用户的主观背景，因此无法直接监测与大语言模型交互所产生的心理伤害。我们提出测量风险而非伤害：在AI回复层面检测构成心理伤害风险因素的可观察AI行为，并聚合这些信号以支持纵向监测。我们将八种此类行为操作化，并构建了一个包含47,062条AI回复和373,873个回复-因素标签的合成多标签语料库，同时进行了针对性的人工标注以用于验证和评估。随后，我们比较了基于嵌入的训练分类器、直接LLM评判以及分类器—评判级联三种方法。所有检测器均与模型无关，仅作用于LLM输出，无需访问模型内部状态。我们将这些检测器应用于先前研究中的多个分布外人类—AI对话数据集。在留出的人工标注数据上，最佳级联方法达到宏精确率0.86、召回率0.76和F1值0.79。在WildChat上，相对于直接评判，它将LLM评判调用减少了97.1%。在DelusionEval上，风险因素检测在对话内聚集。总体而言，我们的结果表明，回复层面的行为风险因素检测可以提供一个可扩展的测量层，用于纵向心理安全监测，而不会将可观察的AI行为与潜在的用戶伤害混为一谈。

中文由 AI 翻译，仅供参考，以原文为准。