在固定任务上,小参数模型的表现正在逼近大模型。一个 1B 级别的模型,经过针对性蒸馏与少量偏好优化,在文本分类、结构化抽取、固定格式改写这几类任务上能做到大模型八成以上的水平,而推理成本只有几十分之一。
红利的来源与代价
红利来自三个方向:教师模型生成的合成数据、任务本身的可压缩性,以及推理时的短输出。前两个是蒸馏的常规手段,第三个常被忽略——很多垂直任务的答案长度只有几十个 token,模型不需要太多“想”的空间。
代价是泛化。小模型在训练分布之外的输入上退化很快,尤其是涉及多步推理或需要世界知识的请求。工程上的常见做法是在入口加一个路由层,用轻量分类器判断请求复杂度,超出范围的交给大模型兜底。
什么时候值得蒸馏
判断标准可以简化成两条:任务边界是否清晰、调用量是否足够大。边界清晰意味着输入格式稳定,调用量大意味着成本节省能覆盖维护成本。两条都满足时,蒸馏的投入回收期通常在 3 到 6 个月。
读者留言
3 条 · 编辑审核后展示高
高原2026-11-16 11:53
这类拆解最有价值的地方是把“看起来重要”和“真正决定成本”分开了。
有用 23 · 回复
宋
宋一鸣2026-11-16 13:06
希望多做这类可复核的整理,读者需要的是方法而不是情绪。
有用 26 · 回复
钟
钟工2026-11-16 14:19
希望可以增加一个表格汇总关键数据,手机上更好读。
有用 8 · 回复