llmClassificR：在 R 中结合大语言模型、网络心理测量学与校准不确定性的文本分类工具包

文本分类已成为心理学和社会科学中的一个核心测量问题，而大语言模型（LLMs）的出现成倍增加了可用策略的数量，从上下文编码器和嵌入服务到提示式生成模型，再到最近出现的通用分类模型（如Jev），后者针对关于文本的类型化问题返回概率。本文介绍了R包llmClassificR，它将上述策略整合到一个单一、一致的接口中，并展示了如何将它们与网络心理测量学、复杂性科学和现代不确定性量化相结合。该包实现了：（a）对文本进行无监督分类，将探索性图分析应用于本地编码器模型、解码器LLMs和嵌入API的嵌入，包括一种素数权重编码，将来自每个Transformer层估计的网络组合成单一多重表示；（b）在冻结嵌入上的监督分类头，通过交叉验证进行评估；（c）使用生成式LLMs进行提示式分类，包括打乱批处理、标签验证、严格的JSON Schema输出、集成和自一致性；（d）检索增强、自动化和人工引导的主题发现；（e）基于Jev的分类，使用Choice、Noul和Score问题；（f）基于标签描述和本地或API嵌入构建的DIY类Jev分类器；以及（g）校准、温度缩放、Platt缩放、选择性分类和共形预测集。本教程使用由LLMs生成的合成文本、由撰写者本人标注的情感情境描述（EmpatheticDialogues）以及由多位评分者标注的Reddit评论（GoEmotions），从而能够展示在合成数据上看起来近乎完美的方法在真实文本上的表现、标签的可靠性如何限制任何分类器所能达到的准确率，以及模型的不确定性如何……

中文由 AI 翻译，仅供参考，以原文为准。