多站点评估：FLAN-T5-Large 从电子健康记录中提取社会隔离信息的公平性与泛化性

背景：大语言模型（LLMs）的最新进展改善了从临床叙述中识别社会隔离的能力，而临床叙述在语言模式和记录实践上差异很大。然而，在单一数据集上微调的LLMs在应用于不同的医疗环境或临床记录类型时，往往表现出性能下降。因此，对跨站点泛化性和公平性进行严格评估至关重要，以确保在不同人群和临床情境中准确、公平地检测社会隔离。目的：本研究旨在评估一个片段级微调的FLAN-T5-Large模型从非结构化临床文本中提取“社会隔离”指标的效果，并评估其在不同人群和医疗数据来源中的泛化性和公平性。方法：使用来自三个医疗系统的9,578份临床记录中的共2,967个唯一标注片段，采用情境化片段分类框架对FLAN-T5-Large模型进行微调。在敏感性分析中评估了Gemma-2-2B模型，以考察架构相关的性能差异。性能使用精确率、召回率和宏F1进行评估。公平性使用统计 parity 差异（SPD）和机会均等差异（EOD）在人口学变量、社会脆弱性分层和记录类型上进行评估。结果：在验证期间，纳入标注片段周围的上下文窗口将宏F1从0.90提高到0.94。在900份人工审查记录的全记录评估中，FLAN-T5-Large对社会隔离实现了高召回率（0.94–0.98），各站点的宏F1值范围为0.69至0.81。公平性分析显示，在年龄、性别、种族和社会脆弱性群体中性能总体一致，敏感性公平（EOD 0.02–0.04），阳性预测率存在中度变异（SPD）。性能变异性与记录类型强相关，记录类型在性能和公平性指标上引起的变异性远大于患者人口学因素。结论：微调的FLAN-T5-Large在从临床叙述中检测“社会隔离”方面表现出较强能力，同时在亚组间保持敏感性公平。观察到的异质性主要由记录情境而非患者特征驱动，凸显了在临床NLP中进行记录类型感知评估的重要性。这些发现支持使用指令微调的LLMs从EHR文本中公平地提取社会情境信息。

中文由 AI 翻译，仅供参考，以原文为准。