[AI21 Labs] 后训练案例研究：与 Deel 一起把全球薪资情报做到前沿级

后训练案例研究：与 Deel 一起把全球薪资情报做到前沿级

本文由 Eran Goldstein、Asaf Karnieli、Shaked Meirom 与 Joanna Kramer 撰写，与 Deel 的 Abhijit Mehta 和 Anthony Li 合作完成。

构建一个可用的全球薪资模型，让它能够可靠、如实地回答世界各地员工的问题——而每位员工都受高度个性化的雇佣条款与本地监管环境约束——并非易事。

然而，在为期三周的专项合作中，AI21 的前沿部署研究员（FDR）团队与 Deel 专注于模型评估与训练的 AI 实验室 Emet 的团队合作，对近期发布的 NVIDIA Nemotron 3.5 Super VL 进行后训练，交付了一个以极低成本超越前沿的模型：

质量提升 20.7 个点 ——相比基础模型 质量提升 8 个点 ——相比 Claude Opus 5.5 50x 便宜的模型比 Opus 5.5（按每 1M tokens 成本衡量）

图 1：我们的训练配方让 Nemotron 3.5 Super VL 在全球薪资用例上质量高出 Claude Opus 5.5 八个百分点，同时每 1M tokens 的成本低至 1/50。

之所以能取得这些结果，得益于 Deel 旗下 Emet 构建的专家标准与基准——其驻场薪资专家定义了一个完整的答案应包含什么——以及 AI21 FDR 团队先用 SFT、再用 SDPO（self-distillation policy optimization，自蒸馏策略优化）对模型进行的顺序训练。本文详述这些结果背后的方法论。

为什么全球薪资问题对模型构成挑战

领域

Deel 是全球 HR 与薪资平台，为 150 多个国家的 45,000 多家公司提供支持，回答跨越多个国家与司法管辖区的薪资问题。什么才算正确答案，取决于当地税务规则、雇佣合同与公司政策——而这三者都在定期变化。一个典型问题通常约 20 个词长，可能像这样：“作为一名在法国的 EOR 员工：我们在法国有一名员工于 8 月 14 日开始休产假。我此前的理解是这笔费用将由 CPAM 承担。资金和雇主承担的部分具体是如何运作的？”

除了答对之外，模型还需要按 Deel 的术语、政策与风格来表述答案。

为了给模型的回答打分，我们依据 EmBench Payroll——Emet 公开发布的薪资基准。每个问题配有 3–6 条评分断言（rubric assertion）。有些是事实性的（「指出 CPAM 津贴的每日上限为 101.94 欧元」），另一些则检查答案覆盖了什么、或对情形的定性是否正确。回答按两项指标评分，由 GPT-6 Sol 担任 LLM 裁判（LLM Judge）：

Criteria met：答案满足的问题断言的平均占比 All criteria met：所有断言都被满足的问题占比

虽然前沿模型处理这一领域相当不错——例如，Opus 5.5 满足 64.0% 的标准，并完整回答了 26.3% 的开发集问题——但它们也很贵。相比之下，开放模型便宜得多，但起点质量普遍更低——Nemotron 3.5 Super 的基础版本得分仅为 51.3%。

Deel 寻找的是一个能在不加提示的情况下就给出完整答案、且只花前沿成本一小部分的开放模型。后训练让达到这一理想的成本-质量工作点成为可能。

方法论

基础模型短板在哪

我们从评估基础版 Nemotron 3.5 Super 并对它的 rollout 做错误分析入手。大多数失败的 rollout 是不完整，而不是答错。例如，在法律条文明确的地方含糊其辞、不给具体数字，或跳过框架性事实、混淆相关概念。这些模式表明，模型大多具备所需的知识——只是需要被引导着给出一个完整的答案。

下图（图 2）展示了一个典型例子。当一名美国员工问到四月底为止自己能有多少病假时，基础模型认识到答案取决于州法律，却含糊其辞地把用户推给 HR，而不是陈述规则和相关数字。结果，这个回答三条评分标准一条都没满足，而对该问题抽样的八个回答中，没有一个是完全正确的。

图 2：基础版 Nemotron 3.5 Super 模型处理一道不典型的全球薪资问题的示例，按 Deel 的评分标准度量。

把行为训练进权重里

步骤 1：近策略 SFT

为了在改进模型的同时避免灾难性遗忘，我们让训练尽可能保持 on-policy。这意味着从模型自己的 rollout 中学习，而不是从另一个模型写的答案中学习，因为贴近策略自身分布的数据更容易学习、造成的遗忘也更少 [3]。然而，基础模型很少能产出好到值得学习的 rollout。它只能完整回答 10% 的开发集问题。

为了在不离开其分布的前提下提升 rollout 的质量（即「near-policy」训练），我们在生成过程中为模型提供提示。我们通过错误分析反复打磨这些提示。它们涵盖模型的角色与任务对它的要求、一份薪资回答需要的细节深度、Deel 的术语与回答结构，以及用户容易混淆的概念区分。这些提示不添加任何新的领域知识，只是引导模型用好它已经知道的东西。

随后，我们在开启推理（reasoning）的情况下，从 Nemotron 3.5 Super 采样提示引导的 rollout。我们只保留满足每一条评分断言的 rollout——连同它们的推理轨迹——这些构成了我们精选的训练集：仅 412 个样本，按后训练的标准来看非常小。最后，我们用这个集合对模型做 SFT 训练，并把提示撤下。

近策略 SFT 把开发集上的表现从 0.513 / 0.100 提升到 0.657 / 0.229（criteria met / all criteria met）。

重新检视那道病假问题就能看出这一步的效果。如下图所示，训练后的模型会陈述联邦规则、给出最可能适用的各州的数字，并追问它需要的细节——该问题的 criteria met 从 0.13 提升到 0.79。

图 3：同一个问题（来自图 2）的回答示例：先由 Nemotron 3.5 Super 基础模型作答，再由经 SFT 后训练的 Nemotron 3.5 Super 模型作答。

步骤 2：带特权教师的 SDPO

在用 SFT 建立一个更强的 checkpoint 之后，我们转向 SDPO（self-distillation policy optimization，自蒸馏策略优化）[1,2]——这是一种较新的 on-policy 方法，用自蒸馏来训练模型。学生（被训练的模型）回答原始问题；教师——同一个模型，但能看到每个问题的特权信息——随后为学生自己的 token 打分。

我们提供给教师的信息，与上文注入的提示保持一致。

不过，SDPO 的优势不止于与 SFT 训练相比。首先，SDPO 是一种 on-policy 训练方法，即 rollout 由最新的策略模型生成。其次，这种方法是一种细粒度的学生行为引导方式：通过奖励期望的响应特征（并惩罚不期望的特征）来实现，而不是依赖模型仅凭示范自行推断这些特征。

经过 SDPO 训练，模型的表现大幅提升：

直接用 SDPO 训练基础模型时：开发集结果从 0.513 / 0.100 升至 0.638 / 0.183，在没有精选数据的情况下逼近 SFT 训练后的分数（0.657 / 0.229）。 从 SFT checkpoint 起步做 SDPO（SFT → SDPO）时：产出了我们最好的 Nemotron 3.5 Super 结果：0.720 / 0.339。

值得注意的是，我们是在很小的训练集上取得这些结果的：SFT 用 412 个问题，SDPO 用 698 个——后者是前者的超集。这之所以可能，是因为我们把两个步骤都尽量保持在 on-policy 一侧。在 SFT 中，我们在模型自己提示引导的补写上训练，精选训练集因此贴近模型自身的分布。在 SDPO 中，训练完全 on-policy：每过一遍问题都会由当前策略产生新鲜的 rollout，随之带来新的训练信号，而不是模型可能背下来的固定目标。SDPO 也不需要标准答案，因此它能从模型仍然答错的问题中学习。这说明针对特定任务后训练一个模型，用小数据集也能做得很有效。

这个案例研究是自我蒸馏（self-distillation）流水线的一个绝佳示例。正如 GRPO 依靠学生自身的能力来启动性能、形成飞轮，SDPO 也是如此。硬币的另一面是：on-policy 训练只能放大学生已经能产出的东西——当基础模型很少自行产出好答案时，可供学习的信号就很少。因此标准做法是在 on-policy 训练开始前，先从教师那里做蒸馏，或以其他方式改进基础模型。我们与 Deel 的工作展示了一种情形：以一个自教师——被提示引导的模型本身——做 off-policy 蒸馏，作为 SDPO 的前置步骤效果很好，两种方法合起来优于其中任何一种单独使用。

结果

图 4：后训练流程各阶段在两项核心指标——criteria met 与 all criteria met——上的最终结果。

先用 SFT、再用 SDPO 的顺序使用，在两项指标上都产出了我们最强的模型，比 Claude-Opus-5.5 高出约 8 个点。

用 SFT 与 SDPO 达到前沿级质量

通过实施同时运用 SFT 与 SDPO 的顺序训练流程，AI21 的 FDR 团队把 Nemotron 3.5 Super 在 Deel 全球薪资任务上的表现相比基础模型提升了 20.7 个点、相比 Claude Opus 5.5 提升了 8 个点。

在全球薪资这样复杂的领域工作，正确答案既由事实也由风格来定义，AI21 的 FDR 团队采用近策略 SFT、随后用 SDPO 来引导模型的行为，大幅提升了质量。

AI21 与 Deel 一起证明了，配好合适的数据与训练配方，企业不必在前沿模型的质量与开放模型的价格之间二选一。通过后训练 Nemotron 3.5 Super VL，Deel 现在可以用一个质量超过 Claude Opus 5.5、成本却低 50x 的模型为其全球薪资业务提供支持。

在 Deel 的 博客上可以阅读该项目的更多详情。

参考文献

Siyan Zhao, Zhihui Xie, Mengchen Liu, Jing Huang, Guan Pang, Feiyu Chen, Aditya Grover. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models. arXiv:2601.18734, 2026. Jonas Hübotter, Frederike Lübeck, Lejs Behric, Anton Baumann, Marco Bagatella, Daniel Marta, Ido Hakimi, Idan Shenfeld, Thomas Kleine Buening, Carlos Guestrin, Andreas Krause. Reinforcement Learning via Self-Distillation. arXiv:2601.20802, 2026. Zhaorui Yang, Tianyu Pang, Haozhe Feng, Han Wang, Wei Chen, Minfeng Zhu, Qian Liu. Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning. ACL 2024, arXiv:2402.13669.