提出评估大语言模型评分质量的模拟工作流

2026年11月1日，一项在PsyArXiv发布的预印本（尚未经同行评审）提出一套系统化工作流程，用于评估大语言模型（LLM）在不同模型与提示设计下生成评分的质量。该流程借鉴概括化理论，区分构念方差、方法方差与残差方差，并改编ADEMP框架指导规划、执行与报告，支持两种验证策略：基于方差成分评估不同LLM设定间的一致性，以及以人类评分为基准进行外部验证。报道称，一项预注册案例研究使用本地开放权重LLM，考察模型选择、回答格式与提示示例对多词表达效价和唤醒度评分质量的影响。目前该工作尚处于预印本阶段，后续进展有待跟进。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。