arXiv · 计算机与社会（cs.CY）· Matthew Flathers, Jill Noorily, Phuong Anh Nguyen, Mark Kalinich, Mina Fallah, Victoria Lisowski, Christine Shi, Rebekah M. Bodner, Anna Simms, Mihika Hete, Meiting Chen, Samuel K. Powell, Tatum Williamson, Laura Ospina-Pinillos, Haruka Notsu, Julian Herpertz, John Torous·· 3 天前AI 评分60
审计41个大语言模型向临床医生、照护者和患者推荐的心理健康干预
Curbside Chatbots: Auditing the Mental Health Interventions Large Language Models Recommend to Clinicians, Caregivers, and Patients
AI 导读
一项审计研究让41个大语言模型在临床医生描述患者、照护者描述亲人、个人描述自己三种身份下回答同一临床信息，共收集35,055条自由文本回答。研究基于19个案例情境和5个问题，用经验证的判定工具提取每个被提及的干预，并让29个模型对同一案例的完整选项列表按七点Likert量表评分。
摘要 · AI 翻译
用户正在向语言模型提出心理健康问题，并正在收到回答。我们审计了当相同的临床信息以三种身份立场到达模型时，41个语言模型向用户推荐了什么：由临床医生描述一位患者、由照护者描述一位亲人，或由一个人描述自己。在19个案例情境和五个问题中，我们收集了35,055条自由文本回答，使用经过验证的评判器提取了所提到的每一项干预措施，并让29个模型针对相同案例在七点Likert量表上对完整选项列表进行评分。模型在很大程度上推荐它们评分较高的选项，推荐行为因身份立场而异，许多模型向临床医生提供会诊式的回答，而向非专业用户提供有所保留、简化的建议。当被问及对某一特定干预类型的推荐时，模型更常将自身评分低于零的选项列为初始选择，通常附带条件。我们将在发表时作为一项持续性审计发布该工具、代码和完整语料库。
摘要来源：信源摘要
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · 计算机与社会（cs.CY） · arxiv.org