研究测试三个开源大模型对进食障碍相关提问的回应，安全表现随用户身份信息明显变化

arXiv:2611.10488v1 公告类型：新摘要：AI 助手就饮食、运动和减重向用户提供建议——在这些领域，不安全的指导可能加重身体不满、饮食限制、强迫性运动以及与进食障碍（EDs）相关的其他行为。现有评估强调诊断准确性、明显有害的提示或合成场景，对模型能否在自然互动中识别隐含脆弱性、或能否一致地保护用户，提供的洞见有限。我们评估了三个开放权重大语言模型对来自一个在线 pro-anorexia（支持厌食）社区的 100 个问题的回答。我们使用临床知情标准对回答进行评分，该标准扩展了一个关于 ED 相关伤害的七维分类法。我们还构建了匹配条件，在问题中附带关于用户的信息，变化种族、性别、体重指数（BMI）和明确的 ED 脆弱性。安全性在不同模型和伤害维度之间差异显著。在没有个人简介信息时，高风险回答的频率约为两倍，表明模型不能仅从语言中一致地识别脆弱性。ED 脆弱性的明确信号使各模型的安全性提高 10–14 分。回答也因种族、性别和 BMI 而显著不同，其中体型造成的差异最大。这些模式与依赖“EDs 主要影响瘦削白人女性”的刻板印象相一致，可能使不符合这一特征的用户获得保护性较弱的回答。

中文由 AI 翻译，仅供参考，以原文为准。