稀疏注意力在长上下文里的性价比:一份实测笔记
在 32K 上下文下,稀疏注意力把显存占用降到三分之一,但检索类任务的表现出现了明显衰减。
论文速读 · 2026-11-18 · 约 5 分钟顶会重要论文的短评:解决了什么问题、方法的关键假设、结论的适用边界。
在 32K 上下文下,稀疏注意力把显存占用降到三分之一,但检索类任务的表现出现了明显衰减。
论文速读 · 2026-11-18 · 约 5 分钟把奖励信号拆成规则可核验项与模型评分项,训练稳定性提升,但需要重新设计权重。
论文速读 · 2026-11-17 · 约 6 分钟在图像信息不足时,模型倾向于用语言常识补齐答案,而不是承认看不清。
论文速读 · 2026-11-16 · 约 5 分钟