三项纵向研究:大语言模型参与决策评估可提升对真实决策结果的预测
Developing human-AI complementarity: Augmenting everyday decision making with Large Language Models
三项纵向研究(N = 671)发现,由大语言模型生成考量因素、参与者保留选择与判断权的增强式评估,对一周后真实决策结果的预测表现最强。研究让参与者报告涉及两个选项的真实个人决策,比较AI单独评估、人类加权加法评估与增强式评估的预测效度;人机互补的证据在第二项研究中最为清晰,完全增强式评估优于两种单独方式,并在两种单独评估合并之外解释了额外变异。
人工智能(AI)可以改善人类判断,但人类–AI系统很少实现互补性:即联合表现超过人类和AI各自单独的表现。在三项纵向研究(N = 671)中,我们检验了大语言模型(LLM)能否通过参与日常决策表征的构建和修订来支持互补性。参与者报告了真实的、对个人有意义的涉及两个选项的决策,以及一周后的决策结果成功情况。由于决策由参与者生成而非预先设定,LLM针对每个决策动态生成考量和备选方案评估。我们比较了AI、人类和增强评估的预测效度。AI评估是LLM对决策结果成功的独立预测。人类加权加法评估结合了参与者生成的属性、重要性权重和选项评分。增强评估纳入了LLM生成的属性,并在后续研究中纳入了建议的权重和评分,同时由参与者选择属性并保留对评估的控制权。增强评估一致地预测了实际经历的结果,并在所有三项研究中显示出观察到的最强关联。互补性的证据在研究2中最为明确,其中完全增强评估优于两种独立方法,并且在将独立评估共同考虑之外,还解释了预期结果和实际经历结果中的额外方差。 across studies,增强扩展了属性集,参与者保留了人类和AI的贡献。这些发现表明,人类–AI互补性可以在预测真实决策结果的成功中出现,并提示决策架构很重要。一个分布式认知系统整合了AI在决策所有阶段的贡献,同时人类仍负责选择和判断与个人相关的考量。
中文由 AI 翻译,仅供参考,以原文为准。
来源:PsyArXiv 预印本 · osf.io