用模型给模型打分,最大的问题是评分本身不稳定:同一答案换一次采样,分数可能差一截,训练信号因此带噪。
思路
这篇工作的做法是把奖励拆开:能规则核验的部分(格式、数值一致性、是否引用了给定材料)走确定性校验;只有主观部分交给评分模型,并对主观分做方差约束。
效果与代价
在需要严格格式的任务上,训练收敛更快,输出格式错误率显著下降。代价是需要人工设计校验规则,规则覆盖不到的部分仍然依赖模型评分。
值得借鉴的地方
把“可核验”和“需判断”分开,这个思路在工程上比算法本身更有价值。多数业务场景里,可核验的约束占了大头,先把这部分做成硬规则,奖励模型的压力会小很多。
读者留言
3 条 · 编辑审核后展示郑
郑北2026-11-17 15:08
内容有边界感,不像很多文章上来就给结论。
有用 8 · 回复
唐
唐予2026-11-17 16:21
对行业里的新手很友好,术语都解释清楚了。
有用 11 · 回复
王
王工2026-11-17 17:34
文章对边界的说明比较克制,这一点比结论本身更重要。
有用 14 · 回复