众包创意与排序可靠吗？一项检验平行众包可靠性的探索性研究

从公民大会到企业开放式创新挑战赛，要求利益相关者群体生成想法并对其排定优先级已变得司空见惯。尽管此类咨询结果的可靠性被视为理所当然，但其在不同独立群体间的一致性却鲜有实证关注，主要因为这类过程通常是一次性事件，难以轻易重复。在这项探索性研究中，我们引入了“平行群体可靠性”这一概念，即当同一集体智慧过程由不同但人口统计学上等同的群体应用于同一问题时，其结果的一致性，并对其进行了初步的实证检验。我们要求同一课程中两个独立但等同的MBA学生群体，各自独立地提出改进其MBA项目的想法并排定优先级，并由同一位决策者在两个群体中筛选和选定获胜想法。我们使用基于两个独立嵌入模型的语义相似度度量，在三个连续阶段评估了可靠性。我们发现，两个群体独立提出的想法在语义上相似，且趋同集中在有价值的想法上，而分歧则集中在质量较差的想法上。他们对相似想法的优先级排序也相似，使得决策者能够选出相似的获胜想法集合。鉴于单领域的设计，我们将这些结果作为未来研究的初步证据基础。

中文由 AI 翻译，仅供参考，以原文为准。