跳到正文
原文
PsyArXiv 预印本·· 2 天前AI 评分40

语言模型对主导认知扭曲分类的受控比较:RoBERTa、DeBERTa-v3 与 MentalBERT 在 Therapist Q&A 数据集上的表现

Which Distortion gets confused? A Controlled Comparison of Language Models for Dominant Cognitive Distortion Classification

AI 导读

一项预印本研究在 Therapist Q&A 数据集上比较 TF-IDF 基线、RoBERTa、DeBERTa-v3 和 MentalBERT(含或不含 focal loss)对主导认知扭曲的分类,编码器准确率为 0.39 至 0.44,高于多数类基线 0.15。

摘要 · AI 翻译

认知扭曲是认知行为疗法(CBT)旨在识别和重构的无益思维模式,因此对认知扭曲进行分类是重构过程中的关键步骤。由于数据有限,且数据在大多数情况下存在类别不平衡,分类变得困难。我们在公开的治疗师问答数据集(Shreevastava 和 Foltz, 2021)上研究主导性扭曲分类,该数据集中标注者对主导性扭曲的一致性较低(34%)。以标注的扭曲片段作为输入,我们在三个随机种子上比较了 TF-IDF 基线方法与 RoBERTa、DeBERTa-v3 和 MentalBERT(使用和不使用 focal loss),报告了准确率、宏 F1 和 Cohen's kappa 及显著性检验。编码器达到 0.39 至 0.44 的准确率,远高于多数类基线(0.15),三个交叉熵编码器之间无显著差异,而加权 focal loss 表现更差。错误分析显示,错误集中在少数相互重叠的扭曲类别上,主要是全或无思维、放大和心理过滤,这表明类别边界不清晰对性能的限制大于模型选择的影响。

摘要来源:信源摘要

中文由 AI 翻译,仅供参考,以原文为准。

来源:PsyArXiv 预印本 · osf.io