纵向模拟研究发现AI心理支持助手常在用户危机后过早给出建议

针对大语言模型（LLMs）在心理健康支持方面的评估，通常聚焦于单条回复的临床适当性，可能因此忽视了在长程互动中出现的失败。随着AI助手积累关于用户处境和既往披露的记忆，这引出了一个问责问题：当用户的需求演变时，AI聊天机器人是否提供了适当的支持？我们通过分析14,256个纵向模拟来研究这一问题，这些模拟基于22名用户捐赠的聊天机器人历史记录，考察一个具备记忆功能的助手在康复轨迹和沟通风格中如何应对自杀意念、自伤和焦虑危机。我们引入了与心理健康专业人员共同开发的语境感知与准备度评估（CARE）框架，用以评估建议的时机和质量，包括遗漏情况。与同一对话中匹配的对照时段相比，危机之后建议与用户准备度的契合度更低，主要原因是过早给出的建议，这种情况在康复停滞时最为常见。重新回顾危机减少了过早建议，但未减少滞后建议，用户的沟通风格改变了助手给出建议的频率和时机。尽管明确无益的建议很少见，但助手经常遗漏临床医生期望的支持，例如随访和下一步计划。这些发现表明单条回复层面安全性评估的局限，以及在要求AI系统对纵向支持负责时，需要评估时机、遗漏和跨用户的一致性。

中文由 AI 翻译，仅供参考，以原文为准。