基于模拟的工作流程：评估大语言模型评分质量

大语言模型（LLMs）正越来越多地被用作研究工具，以促进对文本特征的快速、自动化评分。在心理学研究中，它们已被用于量化刺激材料反映某些心理构念的程度。然而，LLMs 的应用在提示设计（如指令细节和示例）与模型设定（如模型家族、规模和配置）方面具有高度灵活性，这可能产生不一致的结果，并威胁结论的稳健性和可推广性。为在可能选择的多元宇宙中导航，我们开发了一套系统化工作流程，用于评估在不同模型与提示设定下 LLM 生成评分的质量。受概化理论启发，该工作流程区分了刺激项目间的构念方差、由模型与提示选择导致的方法方差，以及重复迭代间的残差方差。为引导研究者完成 LLM 模拟研究的规划、执行与报告，我们改编了最初为方法学模拟研究开发的 ADEMP（目标、数据生成机制、估计量与目标、方法、性能指标）框架。我们开发了一个模板，支持两种互补的验证策略：基于概化理论通过估计方差成分评估 LLM 设定间的一致性，以及针对基准（如人类评分）进行外部验证。我们在一项预注册案例研究中展示了该工作流程，使用本地开放权重 LLMs，考察模型选择、响应格式和提示示例对多词表达效价与唤醒度评分质量的影响。

中文由 AI 翻译，仅供参考，以原文为准。