长上下文的核心矛盾是注意力计算量随长度平方增长。稀疏注意力通过只保留部分 token 对之间的连接来压缩计算,是这条线上最主流的方向之一。
方法的关键假设
这类方法普遍假设注意力权重集中在少数位置:局部窗口、特定标记、或与查询语义相近的段落。只要真实分布与假设吻合,稀疏化就能以很小的代价换取大幅加速。
实测中的偏差
在摘要、续写这类局部依赖强的任务上,稀疏注意力的表现与全注意力接近。但在“找回分散在长文档多处的一个事实”这类检索型任务上,衰减明显:因为我们无法预先知道关键片段位于何处,固定稀疏模式容易把它漏掉。
适用边界
如果业务以长文摘要、代码补全为主,稀疏注意力值得尝试;如果是合同比对、跨章节问答,建议保留全注意力或改用检索式方案,把长上下文拆成可定位的块。
读者留言
3 条 · 编辑审核后展示宋
宋一鸣2026-11-18 11:28
文中对“标准是及格线不是答案”的说法很认同。
有用 7 · 回复
钟
钟工2026-11-18 12:41
同意最后一句:先解决信息,再谈判断。
有用 10 · 回复
彭
彭涛2026-11-18 13:54
希望后续能补一组长期数据,短期结论容易被误读。
有用 13 · 回复