PsyArXiv 预印本·· 4 小时前AI 评分47
基于LLM的合成焦点小组在多大程度上复现人类主题内容与互动动态：一项与五组人类焦点小组的对比评估
Where human similarity holds and where it breaks: Evaluating the alignment of synthetic focus groups
AI 导读
一项预印本研究用动物产品消费与性别议题的匹配数据集生成30场基于文本的合成焦点小组，并与5场人类焦点小组对比，采用主题保真度、互动过程和发言者区分度三级基准评估。合成组能复现人类主题中一个合理的子集，但表现出过度冗长、内部自行消解分歧、话语情境细节较少、发言者区分度降低。丰富被试画像可提升主题覆盖，却使讨论向共识观点集中。
摘要 · AI 翻译
目的：基于大语言模型（LLM）的合成参与者日益增长的商业使用引发了对其有效性的疑问。本研究评估基于文本的合成焦点小组在多大程度上能够可靠地再现人类的主题内容和互动动态。方法：该评估使用一个关于动物产品消费与性别的匹配数据集，通过操纵代理的档案水平（基础版与丰富版）生成30个基于文本的合成焦点小组会话。采用一种新的三级基准将其转录文本与五个人类焦点小组的转录文本进行比较：主题保真度、互动过程和说话者区分度。结果：合成小组恢复了人类主题中一个看似合理的子集，但表现出过度冗长、内部自行消解对立观点、话语情境细节较少以及说话者区分度降低。档案丰富化提高了主题覆盖范围，但使讨论集中于共同观点。结论：这些发现将合成焦点小组定位为探索性市场研究中一种有前景的工具，同时强调其在捕捉情境化社会互动方面的局限性。其适用性取决于预期用途，在应用前需要多维度验证。
摘要来源：信源摘要
中文由 AI 翻译，仅供参考，以原文为准。
来源：PsyArXiv 预印本 · osf.io