研究发现模拟精神病患者的作答变异远小于真实患者

语言模型被用作模拟精神科患者，以训练临床医生和评估 AI 治疗师，并依据其可信度或总分进行评判。我们提出了一个模拟受访者框架：信息预算限制了模拟患者能够产生差异的程度；而“平均患者假设”——即模型对每个条目都按所指定状况和严重程度的典型水平作答——意味着变异很小、会给出该状况典型症状的完整剖面，且总分处于或高于所述严重程度区间的上限。我们在八个真人样本（包括一个临床样本和一个被指导伪装样本）的条目级数据上，于总分匹配的条件下检验了这些推论。在 17 个模型中，模拟患者在总分相同时的变异比真实受访者小 1.5 至 11 倍，并且在大多数问卷上几乎对每个症状都给出中等水平的认可；在 PHQ-9 上，其症状之间的协变关系不如真实数据那样接近。无论是诚实作答还是伪装作答的真人，其回答“完全没有”的频率与总分相同的真实患者大致相当，且高于每一个模型。单一回答高度集中，而提示词改动、已发表的人设、更大的模型和推理能力会削弱这一模式，但并不能消除它。在访谈中，被告知严重程度的患者被评定为几乎具有每一个症状，因此评估代理对缺失症状的识别能力未受到检验；并且以所述严重程度为评分基准时，该代理将其中四分之一归入相应区间，而对于被给予真实症状剖面的患者，这一比例约为一半。让模型改写这样的剖面，可恢复一半至三分之二的变异。

中文由 AI 翻译，仅供参考，以原文为准。