Whisper 自动语音识别与人类对口音的敏感度相近，但对句子语境的使用方式不同

尽管语音识别技术取得了进步，但关于模型的泛化能力以及模型在多大程度上反映人类理解，仍存在疑问。本研究通过比较OpenAI的Whisper模型与75名人类转写者在300句英语句子（20名说话者，男女各半，美国口音与西班牙口音各半）上的表现来探讨这些问题。句子以100个目标词结尾：1/3为高可预测性句子（The farmer milked the cows），1/3为低可预测性句子（The farmer milked the nose），1/3为低可预测性加非词句子（The marmer milked the nose）。目标词的转写错误率分别在句子中和孤立呈现时（从相同句子中截取的录音）进行考察。错误率随模型规模增大而下降，但西班牙口音语音相对于美国口音语音的错误率仍然较高，与人类转写者大致相似。模型和人类均受益于更高的句子可预测性。然而，句子语境对模型和人类的影响不同：人类仅从高可预测性句子中受益，而模型从任何句子语境中均受益。在孤立词上，人类在数值上优于（表现最佳的）大型模型，并表现出不同的错误模式，这表明Whisper可能对短话语的分布覆盖有限，或可能需要比人类更长的声学语境。更多样化的训练数据以及更好的语境感知（包括说话者身份和语用语境）可能会改善ASR的泛化能力。

中文由 AI 翻译，仅供参考，以原文为准。