跨编码整合桥接事件信息发生在观看图画故事时：时机很重要

尽管多模态叙事（例如由图片和文字组成的漫画）在日常生活中十分普遍，但人们对个体如何跨不同模态整合信息以形成连贯的心理表征仍知之甚少。在本研究中，我们探讨了在多模态叙事中对桥接事件信息进行跨模态整合时，加工成本何时出现。参与者阅读了单模态（即仅由图片或仅由文字组成）和多模态故事，其中桥接事件信息以另一种模态呈现。我们测量了桥接事件面板和结束状态面板的观看时间，以反映与整合相关的认知成本。结果显示，模态切换与面板位置之间存在显著的交互作用。虽然模态切换的存在增加了两个面板位置的观看时间，但桥接事件面板的增加幅度远大于结束状态面板。这一结果支持了一种假设，即在叙事理解过程中，不同模态的信息在遇到时会被整合到叙事的心理表征中。我们的结果强调了模态对叙事整合的影响，表明理解可能受到信息呈现格式的影响。未来的事件认知模型应将模态作为叙事理解的一个因素纳入其中。

中文由 AI 翻译，仅供参考，以原文为准。