研究开发并验证青少年心理健康AI回应评估工具AMHART
Development, validation and AI chatbot evaluation of the Adolescent Mental Health AI Response Tool
研究团队开发并测试了青少年心理健康AI回应工具(AMHART),这是一套由临床医生参与设计、用于评估AI聊天机器人如何回应青少年焦虑或抑郁披露的工具。将AMHART应用于四款常用AI聊天机器人后发现,这些模型对焦虑的覆盖优于抑郁,对中度表现的覆盖优于重度表现,同时在应对指导方面存在缺口。
许多青少年向通用人工智能(AI)聊天机器人寻求心理健康建议,尽管针对与青少年相关的临床标准所开展的评估仍然有限。在此,我们开发了青少年心理健康AI回应工具(AMHART),这是一种由临床医生参与设计的工具,用于审查七个领域中是否存在符合指南的回应内容,并将其应用于四款主流AI聊天机器人。候选条目由临床医生就其证据基础、客观性和临床重要性进行评审,最终得到一个具有较强内容效度和评分者间信度的条目子集。随后,我们配置了一个由三个模型组成的大语言模型评估器集成,评估其与人工参考标签的一致性,并对多轮对话进行评分,这些对话中青少年人物画像(在性别、诊断和症状严重程度上各不相同)分别与ChatGPT-5、ChatGPT-4、Claude 4.5和Gemini 2.5进行互动。AMHART评分显示,焦虑相关适用标准的覆盖程度高于抑郁,中度表现的覆盖程度高于重度表现。研究结果表明,AMHART为评估聊天机器人对青少年焦虑和抑郁披露的回应提供了一个可靠、由临床医生参与设计的基准。
中文由 AI 翻译,仅供参考,以原文为准。
这套由临床医生参与开发的评估工具,为衡量AI聊天机器人如何回应青少年焦虑与抑郁披露提供了可迁移的评测框架。
来源:Nature Mental Health · nature.com