检索增强生成看起来是一个简单流程:把文档切块、建索引、按问题召回、拼进上下文。真正做过项目的人都知道,决定效果的是每一步的边界条件,而不是流程本身。
切分决定了信息完整性
固定长度切分最省事,也最容易把一句话、一张表、一段条件说明劈成两半。经验值是按语义边界切分,块长度控制在 300 到 600 字,同时保留 15% 左右的重叠。对表格与条款类文档,最好在切分前先做结构识别,把标题层级一并写进块元数据。
召回不是越多越好
把 top-k 从 5 提到 20,召回率会上升,但上下文里混入的干扰段落也会增加,模型被误导的概率同步上升。比较稳妥的做法是两段式:先用宽召回拿到 30 条候选,再用轻量重排模型收敛到 5 到 8 条。
重排的成本主要在延迟。一个 30 条的候选集,用交叉编码器重排大约增加 120 到 200 毫秒;对交互式场景可以接受,对批量任务则可以用打分阈值提前剪枝。
什么时候该考虑微调
如果问题是“模型不知道我们的术语”,优先补术语表与召回;如果问题是“模型知道但输出格式总不对”,微调或结构化约束更划算。把这两类问题混在一起,通常会导致既加了微调又没解决召回,预算花了两遍。
读者留言
3 条 · 编辑审核后展示赵
赵小满2026-11-18 09:43
建议在结尾加一句风险提示,避免被当成选型建议。
有用 16 · 回复
程
程野2026-11-18 10:56
内容有边界感,不像很多文章上来就给结论。
有用 19 · 回复
韩
韩沐2026-11-18 12:09
对行业里的新手很友好,术语都解释清楚了。
有用 22 · 回复