稀疏注意力在长上下文里的性价比:一份实测笔记
在 32K 上下文下,稀疏注意力把显存占用降到三分之一,但检索类任务的表现出现了明显衰减。
论文速读 · 2026-11-18 · 约 5 分钟技术演进的记录者。既看论文里的曲线,也看机房里的账单。
在 32K 上下文下,稀疏注意力把显存占用降到三分之一,但检索类任务的表现出现了明显衰减。
论文速读 · 2026-11-18 · 约 5 分钟同一个模型,输出长度从 800 token 拉长到 4000 token,准确率提升不到 3 个百分点,账单却翻了四倍。
大模型追踪 · 2026-11-18 · 约 7 分钟多数 RAG 项目上线后的效果差距,不在模型,而在文档切分策略和重排预算。
AI 工程化 · 2026-11-18 · 约 9 分钟同一类事实,不同法域给出了不同答案:合理使用、许可推定、以及输出层责任。
AI 伦理与治理 · 2026-11-18 · 约 8 分钟多数公开评测只取 8 到 16 帧,模型在关键动作识别上的真实能力被系统性高估。
大模型追踪 · 2026-11-17 · 约 8 分钟把一次长任务的失败原因拆开看,七成集中在参数构造错误与上下文丢失,而非模型能力不足。
AI 工程化 · 2026-11-17 · 约 8 分钟把奖励信号拆成规则可核验项与模型评分项,训练稳定性提升,但需要重新设计权重。
论文速读 · 2026-11-17 · 约 6 分钟检测模型的准确率在公开集上仍高,但换一种压缩方式就会掉十几个百分点。
AI 伦理与治理 · 2026-11-17 · 约 7 分钟在图像信息不足时,模型倾向于用语言常识补齐答案,而不是承认看不清。
论文速读 · 2026-11-16 · 约 5 分钟同一张卡上,吞吐与延迟是两个方向的目标,优化手段之间经常互相抵消。
AI 工程化 · 2026-11-16 · 约 9 分钟在垂直任务上,1B 级模型已能追平大模型八成的表现,但代价是泛化边界急剧收窄。
大模型追踪 · 2026-11-16 · 约 6 分钟同一模型在不同榜单上的名次可以相差十几位,原因常常是题目泄漏与采样策略不公开。
AI 伦理与治理 · 2026-11-16 · 约 6 分钟