Chatbot Arena 百万次盲评显示模型未变差而人类评价标准在提高

用户常常抱怨 ChatGPT 等 AI 助手变得越来越差。有些版本确实发生了变化，但人工评估还留下另一种可能性未被检验：做出评判的人本身可能发生了变化。我们在 Chatbot Arena 上将这两者区分开来——这是一个公开平台，人们比较两个匿名大语言模型（LLM）给出的回答，并选出更好的一个，或表示两者都很差。我们研究了 2023 年 5 月至 2024 年 8 月间投出的 1,260,967 张盲投票，这些投票针对的是版本固定的模型对：带日期的厂商快照，以及权重固定的开源模型。对于同一对未发生变化的模型，表示“两者都很差”的投票占比平均为 17.1%，每月上升 1.71 个百分点；在 2024 年每月上升 1.91 个百分点。在 2023 年和 2024 年都经常被观察到的十四对模型中，每一对的这一比例都上升了，从 15.5% 升至 23.3%。排名则没有趋势：在 2024 年，较强模型在决定性投票中的占比保持平稳。这一上升在同一投票者、同一模型对内成立，并且在各到达队列从其首次记录投票起也成立。它在加入提示词控制后、在每种主要语言中、对于带日期的厂商快照、开源权重模型以及回答长度稳定的模型、以及在界面变更之间都成立。这种漂移在各模型间是共享的：用其他模型的模型对估计出的月份效应，可以消除每个模型自身模型对中的这一漂移。在整个平台范围内，平均模型相对于 2023 年的平均水平本应得分 78%，然而“两者都很差”投票的占比最终却接近其起始水平。这一模式符合一种随该类别的进展而调整的标准，因此一个停滞不前的产品会被评判为在退步。对 AI 的绝对评判发生了漂移，而相对比较保持稳定——这种评估漂移对 LLM 排行榜以及用于训练模型的人类反馈都具有重要意义。

中文由 AI 翻译，仅供参考，以原文为准。