艾米科技网IMMI-IT.COM
快讯更新中
大模型追踪 · MODEL WATCH

推理模型的“思考预算”正在改写成本曲线

同一个模型,输出长度从 800 token 拉长到 4000 token,准确率提升不到 3 个百分点,账单却翻了四倍。

艾米科技网编辑部 2026-11-18 阅读约 7 分钟 频道:AI · 前沿

过去一年,主流模型在推理任务上的进步很大一部分来自“想得更久”:在给出答案之前先展开一段中间推导,再收敛到结论。这类机制在数学、代码与多跳问答上收益明显,但也把一个隐性变量放到了台面上——思考预算。

预算与收益不是线性关系

把同一批难题分别用 800、2000、4000 token 的推理预算跑一遍,会看到一条明显的边际递减曲线。前 2000 token 的增量贡献了大部分准确率提升,从 2000 到 4000 这一段,提升普遍在 1 到 3 个百分点之间,而推理成本接近翻倍。

更麻烦的是“过度思考”。部分简单题在长预算下反而更容易出错,模型会给自己制造并不存在的约束,再在错误的前提上推演。业内把这称为自洽性崩塌,工程上的对策是在入口做难度判别,简单请求走短预算分支。

评测口径比跑分更重要

各家公布的基准成绩,差异往往不在模型,而在采样策略。是否允许多次采样后取多数、是否把工具调用计入、是否只统计最终答案——这些细节足以造成 5 个百分点以上的偏差。

对使用方来说,更实用的做法是自建一套小规模但贴近业务的题目集,固定预算与采样参数,再和自己的历史版本比,而不是和别家公布的榜单比。

#推理模型#成本#评测

读者留言

3 条 · 编辑审核后展示
沈
沈一2026-11-18 10:33

读完之后对这条产业链的利润分布清楚了不少,感谢整理。

有用 21 · 回复
苏
苏航2026-11-18 11:46

文中对“标准是及格线不是答案”的说法很认同。

有用 24 · 回复
罗
罗清2026-11-18 12:59

同意最后一句:先解决信息,再谈判断。

有用 6 · 回复