研究评估大模型模拟被试的认知多样性：自评特质可复现，认知任务表现差异不足

arXiv:2611.10508v1 公告类型：新摘要：大语言模型（LLM）智能体越来越多地被用作社会、行为和决策研究中的合成参与者，但它们能否在参与模拟行为时表达出所赋予的分级认知多样性，目前仍不清楚。我们引入了一套认知评估套件，用于检验模拟人群能否复现人类在推理、自我报告特质、特质间关联以及下游行为上的变异。以认知反思、认知需求和五大人格特质的合成或人类衍生档案为条件的智能体，与473名成年人组成的队列回答同一套测试：两项新编制的测试——认知反思测试（CRT）和行为反思测试（BRT，其决策场景测量行为中的反思）——以及一项已有的CRT和两份特质问卷。在四个模型的七次完整电池模拟运行中，智能体在自我报告问卷上复现了认知需求和五大人格特质的分布，但在模拟认知任务表现和下游行为的多样性方面存在不足。在四次Claude Sonnet 4.6运行中，无论其人格设定被赋予何种反思水平，每个智能体在两项CRT上均获得满分。在另外三次运行中，智能体出现直觉诱饵错误（CRT题目所诱导的看似合理的错误答案），但49%至85%获得满分，而人类样本中这一比例低于10%。Claude Sonnet 5最接近人们逐题的诱饵模式；另外两次运行的诱饵更少，且题目间变异更小。在BRT场景中，每次运行都至少以20个百分点的幅度过度产生15种编码行为中的8至11种，而人们反思与行为之间的关联仅部分延续。有用的合成人群不仅必须保留特质描述符，还必须保留这些描述符旨在组织的推理、错误类型和行为方面的结构化变异。

中文由 AI 翻译，仅供参考，以原文为准。