重访 SIAST：2023 年槽位填充中的标签不平衡问题在 2026 年大语言模型下的表现

2023 年，我们发表了一种用于槽位填充（slot filling）的半监督方法，针对的是真实数据中常见的标签不平衡问题：当模型先在一个小规模标注集上训练、再在自己的预测结果上重新训练时，罕见类别容易被归入高频类别，训练出的模型往往在罕见类别上表现更差。本文用当前的语言模型重访这一任务：数据集、测试集、评分方式和标签不平衡全部保持不变。Gemini 3.5 Flash 在提示词中加入当年每个类别的十条标注样例后，无需任何额外训练，总体宏平均 F1 达到 90.6，与 2023 年已发表的 89.7 相当。把每一个预测片段和每一个标注片段逐条归类后发现：2023 年方法要消除的那种罕见类别被高频类别吸收的现象，在我们测试的这些新模型上已经基本不再出现。罕见类别上剩余的错误性质较轻：多数是合理的替代标注，模型给出的标签对该片段同样成立，而语料采用了另一个标签；其余是片段边界上的细微差异。

---

任务及其评分方式

槽位填充是从一句简短的用户话语中抽取带类型的文本片段。它本质上是针对领域特定的标签体系（而非通用体系）做命名实体识别。在话语 "play how does it work by helen carter" 中，片段 "how does it work" 被标注为 album，"helen carter" 被标注为 artist。

基准数据集是 SNIPS（Coucke et al., 2018），一个语音助手语料库，涵盖播放音乐、预订餐厅、查询天气等七种意图，共 39 种槽位类型。我们所用的测试集包含 700 条话语，其中我们统计到 1,790 个标注片段。只有当预测的类型和词元边界都与标注完全一致时才算正确，因此 "the berghoff" 和 "berghoff" 不是可以互换的答案。

评分上有两处细节，后文会反复用到，先在这里说明。一是分组。我们把 39 种槽位类型按它们在训练数据中出现的频次排序，均分成三组、每组十三种，分别称为常见组、中频组和罕见组；这是我们自己的分析口径，数据集本身并没有这样划分。罕见组包含 album、track、playlist_owner 这类槽位，在 1,790 个测试片段中占 150 个。分组报告是为了让低频类别上的崩塌显现出来，而不被平均数掩盖。二是指标。我们用宏平均 F1（macro-F1），即先算每种类型的 F1 再取平均，这样一个只有二十个片段的类型和一个有两千个片段的类型权重相同。微平均 F1（micro-F1）把所有片段汇总起来计算，我们也会一并给出，但它主要由高频类型决定。

2023 年方法所针对的失效模式

原始设定刻意保持标注稀缺：模型只获得每种槽位类型十条标注话语，共 390 条（训练语料共 13,084 条），外加去掉标签的其余语料。

本节的数字都来自 Liu et al. (2023)。在这 390 条话语上微调的 BERT 标注器，总体宏平均 F1 为 82.9，罕见组为 76.0。应用经典自训练（标注器给无标注数据打伪标签，再用自己的高置信预测重新训练）会把罕见组拉低到 66.4；BOND 是一种基于置信度阈值的自训练方法，最初面向远程监督下的开放域命名实体识别（Liang et al., 2020），在这里也只有 68.5。两者在罕见类别上都不如完全不做自训练，同时却在高频类别上有所提升：伪标签数据继承了标注集的不平衡，并在每一轮迭代中放大它，决策边界逐渐偏离少数类。论文中最强的自训练基线 MetaST（Wang et al., 2021）没有出现这种崩塌，但罕见组也只有 77.0，仅比完全不做自训练的 76.0 高出一点。

我们的方法 SIAST（Liu et al., 2023）由两部分组成：一个间隔（margin）目标函数，在训练中把彼此容易混淆的罕见类别拉开；一个重采样器，在伪标签数据回流进训练之前对其重新平衡。罕见组由此提升到 84.8，总体提升到 89.7。它消除的那种失效有一个明显的特征：Album 这类罕见的音乐槽位被改标成 Playlist、Artist 这类高频槽位。该方法要抑制的正是这种转移。

实验设置

评估侧全部保持不变：同样的 700 条测试话语、同样的 39 种类型、同样的精确匹配评分、同样的频率分组。唯一的变化是监督信号从哪里进入系统。

我们没有在这 390 条标注话语上做微调，而是用同样的采样器和随机种子重新生成了这套数据，并把它作为示例放进提示词（Brown et al., 2020）。每个请求由三部分组成：标签体系，每种槽位类型给一行简注；那 390 条示例；以及待测的话语。模型返回带类型的片段。所有运行均在温度为零的条件下解码。没有微调，没有自训练，也不接触无标注数据。

我们还做了一个记忆基线作为参照。它是一张查找表：把完整训练数据里每个槽位出现过的所有形式都记录下来，测试集中凡是能匹配的片段就打上相应的标签。它的宏平均 F1 为 65.6。这张表用的是完整训练数据，而不是 390 条的标注预算，因此它是一个参照点，而不是与标注预算对齐的基线：低于这条线，意味着表现还不如对完整训练数据的查表记忆。

我们考察了两类模型。一类是托管模型：Gemini 3.1 Flash Lite、3.5 Flash、3.6 Flash、3.1 Pro 和 Kimi K2.5。另一类是开源模型：DeepSeek-R1-Distill-Qwen-7B、全精度的 Qwen3-8B，以及量化到 6 比特的 Qwen3.6-27B，三者都在两块 16 GB 消费级 GPU 上端到端运行。

这项工作是在个人 API 额度和消费级 GPU 上做的一次后续实验，不是受控研究。每个语言模型的数字都只跑了一遍，没有重复、没有置信区间，而作为对照的 2023 年已发表数字是五个随机种子的均值；模型也是按可获得性挑选的。因此较小的差异很可能是噪声。

上下文内监督与已发表结果相当

同样的 390 条标注，仅以提示词文本的形式提供，模型的结果就与一个还额外做了微调、并在一万余条无标注话语上做了自训练的方法相当：罕见组宏平均 F1 为 84.2 对 84.8，两者接近；微平均 F1 为 90.9 对 89.1，提示词模型还略高一些。

还有两点值得一提。一是全监督微调仍然明显更强，宏平均 F1 为 95.0，对 90.6。槽位填充这类抽取任务边界清晰，判断很少需要世界知识或长程上下文，一个小型微调标注器在这次比较中既是表现最佳的系统，部署成本也低得多；提示词模型真正有意义的场景，恰恰是原论文针对的那种标注稀缺的情形。二是示例本身的类别不平衡。已有研究报告，无论分类还是生成任务，标注池不平衡都会明显损害上下文学习的表现，并给出了对示例重加权的应对方法（Gao et al., 2025）。检查这一点有一个具体的原因：最初那次运行用的是一个 236 条话语的紧凑示例集，它由贪心集合覆盖构造，利用了一条话语可以同时带多个槽位类型这一点，因而恰好把 2023 年方法所研究的那种不平衡削平了。这个示例集的常见片段与罕见片段之比是 2.6，而论文原有的 390 条示例集是 3.2。换成论文原有的示例集重跑 Gemini 3.5 Flash，每一组的宏平均 F1 变化都不超过 0.6：常见组从 92.9 到 92.3，中频组从 95.2 到 95.1，罕见组从 84.6 到 84.2。可见主结果并非来自示例的采样方式。但如此窄的对比不足以说明示例不平衡在一般情形下的影响，重加权这一应对方法我们也没有检验。

模型容量与示例数量

提升主要来自两个方面：提示词中的标注示例，以及更强的基础模型；两者都与类别不平衡的处理无关。把模型固定在 Gemini 3.1 Flash Lite，加入每类型十条示例，总体宏平均 F1 从 60.6 升到 80.0，提升 19.4，是整个测试中最大的单项变化。其中大部分来自召回：微平均召回率从 55.3 升到 77.5，微平均精确率从 68.6 升到 81.9。固定示例不变、换用更新一代的模型，宏平均 F1 进一步升到 90.9。这几次运行用的都是前文提到的紧凑示例集，因此终点比同一模型在论文原示例集上的 90.6 略高。

接着我们在两个自行部署的开源模型上运行完全相同的提示词：上下文中的监督信号、提示词和标签体系全部固定，只更换模型。

总体宏平均 F1 单调上升：55.9、87.8、90.6。量化到 6 比特、运行在两块消费级 GPU 上的开源模型 Qwen3.6-27B，提示词中只有论文原有的标注，总体宏平均 F1 只落后托管模型 2.8，在常见组和中频组上与 2023 年方法相当：常见组 90.8 对 91.3，中频组 93.6 对 93.2。它与 Gemini 3.5 Flash 的剩余差距也集中在罕见组：罕见组宏平均 F1 为 79.0 对 84.2，相差 5.2；而常见组是 90.8 对 92.3，中频组是 93.6 对 95.1。Qwen3-8B 是一个有用的对照：总体宏平均 F1 只有 55.9，远低于另外两个模型，而且在三个频率组上落后的幅度相近，说明它的不足是全面性的，与槽位频率没有特别的关系。在这次比较中，少样本提示没有弥补基础模型本身的能力不足：可靠的少样本表现出现在 Qwen3.6-27B 上，Qwen3-8B 上没有出现。两次运行的差异不止参数量一项，因此这一结果不应被解读为单纯由模型规模决定的门槛。

我们还把每种槽位类型的示例数从零逐步增加到十。十一种配置都在完整测试集上跑一遍超出了预算，所以十一个点都改在同一个固定子集上评分：从测试集里用贪心覆盖的方式挑出 50 条话语，使 39 种槽位类型每种都至少出现两次，共 205 个数据集标签。正是这样的构造让罕见组在这个规模下还能算出分数，每种罕见类型能分到两到六个片段，而随机抽取 50 条话语几乎不会覆盖任何罕见类型；也正因如此，这个子集刻意不是测试集的代表性样本。它的绝对数值不能与本文其他部分的完整测试集数字相比，具有参考价值的只有曲线的形状。

曲线在每类型最初几条示例内抬升，随后趋于平坦：示例携带的信息大多在早期就已传达，此后继续增加主要是在消耗提示词词元，任务表现不再随之提升。抬升在罕见组最陡。这与一种解读吻合：示例传达的是这个语料库的标注惯例和输出格式，而不只是词汇；更一般的发现也是如此，示例传给模型的不只是标签本身，还有标签空间和输出格式（Min et al., 2022）。已有文献报道过部分模型上的“过度提示”现象，即示例数量超过某个与模型相关的临界点后，准确率反而下降（Tang et al., 2025）；也有工作发现大量示例仍能持续带来提升（Agarwal et al., 2024; Zhang et al., 2026）。在本实验最多 390 条示例话语的范围内，我们没有观察到性能退化，因此至少在本实验的范围内没有明显的过度提示；不过每个点只跑一遍，粒度太粗，无法定位最优示例数。

没有示例时的表现

完全不给示例时，各模型在 65.6 这条记忆基线上下明显分成两层。

有五个模型落在基线之下，原因有两类。DeepSeek-R1-Distill-Qwen-7B 的宏平均 F1 只有 9.3：其输出中有四分之一使用了标签体系之外的槽位名（如 weather、song、book），还有少量回复因思考过程过长超出最大输出限制，解析结果为空。Qwen3-8B 的宏平均 F1 为 16.8，约七分之一的回复解析失败，多数是因为预测片段的字符位置超出了话语本身的范围。这两个数字反映的都不是任务能力，只能说明仅凭一份标签体系无法约束输出格式。Kimi K2.5 的结果更有参考价值：它没有产生任何体系外类型，没有截断，回复全部解析成功，宏平均 F1 却只有 57.1，原因是找到的片段太少（微平均精确率 65.3，微平均召回率 51.8）。这是一个真实的任务结果：那一代中一个能力不弱的模型，在没有示例时的得分仍低于一张记住了完整训练数据的查找表。Qwen3.6-27B 的 59.1 和 Gemini 3.1 Flash Lite 的 60.6 同样落在基线之下，而两者在提示词加入示例后都大幅高于基线。

当前的前沿梯队改变了这一点。Gemini 3.6 Flash 和 Gemini 3.1 Pro 在零样本条件下，无论每个请求一条话语还是十条同时推理，四次运行的宏平均 F1 都落在 80.2 到 82.2 之间，且每个频率组的宏平均 F1 都比记忆查找表高出 11 到 19，具体幅度视组别和运行而异。其中最好的一次在微平均 F1 上超过了 2023 年的微调标注器（84.8 对 81.7），而没有用任何一条标注样例。模型级别（Flash 对 Pro）和每请求的话语条数对结果的影响都不大：每个请求一条话语时，Gemini 3.1 Pro 的宏平均 F1 为 82.2，Gemini 3.6 Flash 为 80.2；十条同时推理时，两者分别为 81.5 和 81.3，单条请求时领先的 Gemini 3.1 Pro，此时与 Gemini 3.6 Flash 基本持平。

罕见类别上的差距，零样本提示始终没能缩小：四次运行里罕见组的宏平均 F1 在 66.0 到 72.2 之间，而 2023 年方法是 84.8；从 Flash 级别换到 Pro 级别，罕见组也几乎不动。本研究中真正推动罕见组的，是示例进入提示词。开源模型 Qwen3.6-27B 从另一侧复现了同样的分野：同样的权重、同样的硬件，没有示例时宏平均 F1 为 59.1，低于记忆基线；有示例时为 87.8。

关于成本还有两点需要说明。托管模型的零样本运行中，词元消耗主要来自推理（reasoning）词元，占输出词元的 80% 到 93%；按此处使用的批处理费率，跑完一次完整测试的成本在 0.94 到 3.90 美元之间。在本地 27B 上开启思考模式，在一个 22 条话语的探针集上把配对微平均 F1 从 53.2 提高到 63.8，提升主要来自召回率，但每条话语的耗时从 5.9 秒增加到 260 秒，慢了 44 倍；按此推算，整个测试集在这套硬件上约需五十小时，且有 9% 的样本在思考中途耗尽词元预算，未返回任何结果。模型表现有所提升，但推理成本也很高。

残余错误的分解

总体 F1 看不出模型究竟错在哪里，所以除了整体指标，我们把每一个预测片段和每一个数据集标签都逐条归类。归类时，把每个数据集标签与同一条话语中的所有预测片段比对（两个片段只要共享至少一个词元即算重叠），并按下列顺序取它满足的第一种结局，下面结合运行中的真实例子说明：（1）完全找对，类型和边界都一致；（2）类型对、边界错，例如 condition_description 被标在 "cloud coverage" 上，而标注只标了 "cloud"；（3）边界对、类型错，例如一个 album 被标成了 track；（4）类型和边界都错；（5）完全没有被找到。还有第六种，只出现在模型这一侧：它标出的片段，在数据集标签里找不到任何对应。

按这套分类，我们把跑过同一份提示词的三个模型放在同样的 150 个罕见类别的数据集标签上，逐条统计了它们的错误。

这种不对称正是本文的发现。Gemini 3.5 Flash 找到了罕见组全部 150 个数据集标签，其中 136 个完全正确，所以它的失分出在标注上而不是查找上：14 个片段找到了但类型或边界标注不正确，另有 173 个罕见类型预测中的 25 个在罕见类型的数据集标签里找不到对应。这 25 个大多不是凭空生成的片段，而是与标注体系的分歧：同样的文字，在数据集里被标成了另一个（通常更宽泛的）标签。例如在 "play the album journeyman" 中，模型把 "journeyman" 标成 album，而 SNIPS 的标注是通用的作品名槽位 object_name；25 个中只有 1 个落在完全没有任何标注的文字上。Qwen3.6-27B 与之类似：漏掉 2 个数据集标签，168 个预测中有 23 个属于此类。Qwen3-8B 则不同：26 个边界错误、7 个数据集标签完全没有标出，237 个预测中有 95 个在罕见类型的数据集标签里找不到对应。

2023 年方法要解决的问题是“吸收”，即罕见类型的片段被打上高频标签。若把“模型准确恢复了片段边界、却赋予常见或中频类型”计为吸收，那么在各自的 150 个片段中，Qwen3-8B 只发生了 1 次，Qwen3.6-27B 和 Gemini 3.5 Flash 一次都没有。把定义放宽到“任何带高频标签的重叠预测”，计数升为 16、3、2；而即便是 8B 的这 16 例，也大多是边界本身就不正确的片段。这表明 8B 的问题是全面性的能力不足，而不是原论文所描述的、常见类与罕见类之间决策边界的漂移。

剩下的错误分为两类。定位类错误随模型容量改善：从 Qwen3-8B 到 Qwen3.6-27B 再到 Gemini 3.5 Flash，边界错误从 26 降到 13 再到 5，完全没找到的数据集标签从 7 降到 2 再到 0，对应不上罕见数据集标签的预测从 95 降到两个较大模型的 23 个和 25 个。类型错误则基本没有改善：参数量相差约 3.4 倍、模型家族也不同，数量却分别是 5、7、6，而且每次都集中在同样的几对标签上：album 对 track、cuisine 对 served_dish、poi 对 restaurant_name。在本测试中，提示词示例的类别不平衡并没有像自训练那样把不平衡放大。

Gemini 把 album 标成 track 的那三次，都出现在同一种句式中：“播放”类请求里的专辑名，例如 "play how does it work by helen carter"。模型准确地找到了这个片段，但正确的标签无法从话语本身推断出来："how does it work" 是专辑还是单曲，是一条关于歌手作品目录的事实，而提示词从未提供这类信息。2023 年的方法也有同样的残余问题，只是方向相反：它把 track 标成 album，比率同样是检出片段的三分之一。相隔三年、规模相差悬殊的每一个系统，都在同一对标签上出错。这正是困难出在标签体系本身、而非某一个模型时会出现的情形。

“罕见”的两种定义

原论文把“罕见”定义为标注训练集的属性，即某种槽位类型在模型被允许学习的数据中出现的频次。对于只在这些数据上训练的模型，这个计数就是全部可用证据，因此计数上的不平衡就是能力上的不平衡，纠正它是恰当的干预手段。

对大型预训练模型而言，真正起作用的量似乎不同。已有工作把少样本能力与相关词项在预训练语料中的出现频次联系起来（Razeghi et al., 2022; Kandpal et al., 2023）；也有工作记录了提示词语言模型在各类别上准确率并不均衡，而且这种不均衡并不会随着架构改进和数据规模扩大自行消失（Lin and You, 2024）。SNIPS 视为罕见的槽位类型（album、track、playlist），指的都是一般文本中常见的事物，因此“标注预算中的罕见”未必意味着“预训练中的罕见”，这些类型可能只在前一种意义上罕见。三个模型的错误分解与这一解读一致，因为它们在罕见组上的欠缺集中在片段边界、额外预测和少数歧义类型对上，而吸收即使对 8B 模型也为零或接近零。我们没有测量任何模型的预训练数据，因此这仍是一个与结果一致的假说，而非由结果确立的结论；直接的检验需要按构造控制预训练频率的标签，或一个在已知语料上预训练的小模型。

实践含义

标注预算充足时，小型微调标注器仍应留在候选之列。它是本研究中最强的系统，宏平均 F1 为 95.0，高于提示词模型的 90.6，部署成本也低得多。提示词模型适用于标注稀缺的中间地带，而不是一般情形。

只有几百条标注时，把它们直接放进提示词是一个可行的首选方案：不需要训练流程，也不需要伪标签相关的基础设施，前提是基础模型跨过了能力门槛。这个门槛应当先行测试，因为在门槛之下，我们尝试过的各种提示词配置都无法达到上述结果。

最初的标注应当先用于覆盖每一个类别，而不是加深某一个类别：示例曲线很早就趋于平坦，而示例传达的更多是标注惯例和输出格式，而非词汇。诊断要做到片段这一层，不能停在总体 F1。本文最可付诸实践的几条结论，都来自对单条预测的逐一统计，也正是这种逐条统计才说明了模型之间的差距具体在哪里；总体分数能显示罕见类型仍然最弱，却无法单独揭示背后的机制。

最后，这套错误分类指向的是定位问题，而不是再平衡问题。实际剩下的错误是边界划定不准，以及自信地多标出的片段。对应的手段有两个。一是约束模型能输出什么，使一条预测只能是话语中真实存在的片段，且只能带体系之内的标签；本文讨论的提示词抽取工作大都没有在解码环节强制这一约束，GPT-NER 部分做到了：它把序列标注转成生成任务，让模型复写原句并在句中直接标出实体（Wang et al., 2025）。二是设置一道显式的否决环节，滤除那些落在标签体系本不打算覆盖的文字上的预测；这批文献在这一点上以不同的名目收敛到了同一方向：逐个候选判断它是否满足实体定义（Ashok and Lipton, 2023）、对易错词元做反思（Bai et al., 2025）、以及用标注了错误原因的对比样例（You et al., 2026）。残余错误中还有一部分属于标签体系而不属于模型：当两个标签都能如实描述同一片段、只靠标注内部的约定来取舍时，仅凭话语本身就无法稳定地还原出该选哪一个；解决办法是把约定写进提示词、修订标签体系，或接入一个知识源。

局限

每个语言模型配置都只跑了一遍，对照的却是已发表的五个随机种子均值。模型是按可获得性挑选的，托管模型的内部机制和版本我们也只能看到一部分。开源模型这组比较除了参数量，还同时换了推理引擎和量化方式，所以不是一次干净的规模消融。示例数量的扫描是在一个刻意偏向罕见类型的小子集上做的，每个点只跑一遍，能支撑的只有曲线的形状。另有一点需要说明：在大多数语言模型的运行里，各频率组的得分并不随训练频率单调变化，中频组的得分反而高于常见组。因此在这些运行中，常见组与罕见组之间的差距，并不等同于原论文所测量的“罕见槽位差距”；原论文的设定里，得分是随训练频率逐级下降的。此外，SNIPS 是一个规模小且公开已久的基准，其中部分内容很可能在预训练中被模型见过，这正是“罕见”的两种定义一节所讨论的混淆因素。

结语

原工作的贡献，在它所针对的那种情形里依然成立。模型只能从少量标注和一个无标注数据池中学习，又没有大型预训练先验可依，这仍然是许多私有部署、领域特定部署和低资源部署的现实约束；在这种情形下，自训练确实会放大不平衡，不平衡感知的纠正也确实能起到可以量化的抑制作用。

改变的是诊断，也就是这套机制在什么情形下才是对症的工具。把它移植到提示词语言模型上，它针对的将是这些模型在我们的运行中基本不再出现的错误。罕见类别仍然是最弱的一组，但在我们的错误分析中，剩余的薄弱主要来自三种情况，均与不平衡无关：模型划定的片段边界与标注不一致；一些文字在 SNIPS 中被标为其他槽位或没有标注，模型却给出了标签；还有少数几对标签，最典型的是 album 和 track，仅凭输入无法可靠地裁决。症状还在，但在这些运行中，背后的机制看起来已经不同。在选择对策之前，值得先厘清这个区别。

---

附录：全部报告数字

除特别注明外，均为 700 条话语的完整测试集，报告全部 39 种槽位类型上的宏平均 F1。

参照点：记忆查找表 65.6；每类型十条样例微调的标注器 82.9；SIAST 89.7；完整训练集微调的标注器 95.0。

无示例：DeepSeek-R1-Distill-Qwen-7B 9.3；Qwen3-8B 16.8；Kimi K2.5 57.1；Qwen3.6-27B 59.1；Gemini 3.1 Flash Lite 60.6；Gemini 3.6 Flash 80.2 与 81.3；Gemini 3.1 Pro 82.2 与 81.5。成对数值分别为每请求一条话语与每请求十条同时推理。

每类型十条示例：Qwen3-8B 55.9 与 Qwen3.6-27B 87.8，用论文原示例集；Gemini 3.1 Flash Lite 80.0，用紧凑示例集；Gemini 3.5 Flash 在论文原示例集上 90.6、在紧凑示例集上 90.9。

参考文献

• Agarwal, R., Singh, A., Zhang, L. M., et al. 2024. Many-shot in-context learning. NeurIPS 2024. arXiv:2404.11018.
• Ashok, D. and Lipton, Z. C. 2023. PromptNER: Prompting for named entity recognition. arXiv:2305.15444.
• Bai, F., Hassanzadeh, H., Saeedi, A., and Dredze, M. 2025. LLMs are better than you think: Label-guided in-context learning for named entity recognition. EMNLP 2025. arXiv:2505.23722.
• Brown, T. B., et al. 2020. Language models are few-shot learners. NeurIPS 2020. arXiv:2005.14165.
• Coucke, A., et al. 2018. Snips Voice Platform: An embedded spoken language understanding system for private-by-design voice interfaces. arXiv:1805.10190.
• Gao, H., Zhang, F., Zeng, H., Meng, D., Jing, B., and Wei, H. 2025. Exploring imbalanced annotations for effective in-context learning. arXiv preprint arXiv:2502.04037.
• Kandpal, N., Deng, H., Roberts, A., Wallace, E., and Raffel, C. 2023. Large language models struggle to learn long-tail knowledge. ICML 2023. arXiv:2211.08411.
• Liang, C., Yu, Y., Jiang, H., Er, S., Wang, R., Zhao, T., and Zhang, C. 2020. BOND: BERT-assisted open-domain named entity recognition with distant supervision. KDD 2020. arXiv:2006.15509.
• Lin, R. and You, Y. 2024. Optimizing class-level probability reweighting coefficients for equitable prompting accuracy. arXiv preprint arXiv:2405.07623.
• Liu, J., Xiong, S., He, Y., Zhou, T., Wang, L., Li, X., and Xiao, B. 2023. SIAST: A slot imbalance-aware self-training scheme for semi-supervised slot filling. ICASSP 2023. DOI 10.1109/ICASSP49357.2023.10096302.
• Min, S., Lyu, X., Holtzman, A., Artetxe, M., Lewis, M., Hajishirzi, H., and Zettlemoyer, L. 2022. Rethinking the role of demonstrations: What makes in-context learning work? EMNLP 2022. arXiv:2202.12837.
• Razeghi, Y., Logan IV, R. L., Gardner, M., and Singh, S. 2022. Impact of pretraining term frequencies on few-shot numerical reasoning. Findings of EMNLP 2022. arXiv:2202.07206.
• Tang, Y., Tuncel, D., Koerner, C., and Runkler, T. 2025. The few-shot dilemma: Over-prompting large language models. IEEE FLLM 2025. arXiv:2509.13196.
• Wang, S., Sun, X., Li, X., Ouyang, R., Wu, F., Zhang, T., Li, J., Wang, G., and Guo, C. 2025. GPT-NER: Named entity recognition via large language models. Findings of NAACL 2025, pp. 4257–4275. arXiv:2304.10428. DOI 10.18653/v1/2025.findings-naacl.239.
• Wang, Y., Mukherjee, S., Chu, H., Tu, Y., Wu, M., Gao, J., and Hassan Awadallah, A. 2021. Meta self-training for few-shot neural sequence labeling. KDD 2021, pp. 1737–1747. arXiv:2010.03680.
• You, X., Yan, T., and Zhao, S. 2026. LC-ICL: Label-guided contrastive in-context learning for robust information extraction. arXiv preprint arXiv:2606.29407.
• Zhang, Q., Lan, F., Caragea, C., Latecki, L. J., and Dragut, E. 2026. Scaling performance and low-resource annotation with many-shot in-context learning for named entity recognition. Findings of ACL 2026. arXiv:2606.21890.