语言模型的能力发展是否像婴儿一样分阶段？16个开源模型的训练轨迹分析

在两年之内，一个几乎不能抬头的婴儿学会了坐、伸手够物和行走。发展科学发现，这种成长既是连续的，也是分阶段的：技能平稳提高，但提高的速度在可识别的年龄发生变化，该领域为此建立了统计工具来定位这些变化。语言模型在训练过程中也会发生转变，其能力是平滑增长还是跳跃式增长，目前仍有活跃争论。本研究认为，发展科学的答案同样适用于人工学习者，并且发展科学的工具能够证明这一点。我们将一套为婴儿运动发展建立的分析流程应用于16个开源语言模型的训练轨迹，每个模型在训练过程中的27个时间点接受五项基准测试。结果与婴儿研究发现相呼应。增长是连续的，但被组织为多个阶段，转变聚集在一小组共享的时间点上，而这些时间点在不同领域中的部署方式不同。增长先缓慢，然后迅速，再缓慢，并且模型之间在发展速率上存在可靠差异。与婴儿不同，这些速率差异几乎完全由模型规模解释。这些转变在测量尺度改变后依然存在，并且在连续测量上比在准确率上出现得更早、更陡峭。本文贡献了一项针对能力增长中阶段结构的形式化检验、一个婴儿发展与语言模型发展之间的构念映射，以及阶段结构可能是学习系统共有属性的证据。

中文由 AI 翻译，仅供参考，以原文为准。