艾米科技网IMMI-IT.COM
快讯更新中
AI 工程化 · ENGINEERING

RAG 的三个隐性成本:切分、召回与重排

多数 RAG 项目上线后的效果差距,不在模型,而在文档切分策略和重排预算。

艾米科技网编辑部 2026-11-18 阅读约 9 分钟 频道:AI · 前沿

检索增强生成看起来是一个简单流程:把文档切块、建索引、按问题召回、拼进上下文。真正做过项目的人都知道,决定效果的是每一步的边界条件,而不是流程本身。

切分决定了信息完整性

固定长度切分最省事,也最容易把一句话、一张表、一段条件说明劈成两半。经验值是按语义边界切分,块长度控制在 300 到 600 字,同时保留 15% 左右的重叠。对表格与条款类文档,最好在切分前先做结构识别,把标题层级一并写进块元数据。

召回不是越多越好

把 top-k 从 5 提到 20,召回率会上升,但上下文里混入的干扰段落也会增加,模型被误导的概率同步上升。比较稳妥的做法是两段式:先用宽召回拿到 30 条候选,再用轻量重排模型收敛到 5 到 8 条。

重排的成本主要在延迟。一个 30 条的候选集,用交叉编码器重排大约增加 120 到 200 毫秒;对交互式场景可以接受,对批量任务则可以用打分阈值提前剪枝。

什么时候该考虑微调

如果问题是“模型不知道我们的术语”,优先补术语表与召回;如果问题是“模型知道但输出格式总不对”,微调或结构化约束更划算。把这两类问题混在一起,通常会导致既加了微调又没解决召回,预算花了两遍。

#RAG#检索#工程

读者留言

3 条 · 编辑审核后展示
赵
赵小满2026-11-18 09:43

建议在结尾加一句风险提示,避免被当成选型建议。

有用 16 · 回复
程
程野2026-11-18 10:56

内容有边界感,不像很多文章上来就给结论。

有用 19 · 回复
韩
韩沐2026-11-18 12:09

对行业里的新手很友好,术语都解释清楚了。

有用 22 · 回复