视觉语言模型在描述图像时经常“编”出画面里没有的东西。一种常见解释是视觉编码器不够强,另一种解释是语言先验在起作用。
实验设计
论文构造了三组输入:完整图像、被遮挡到只剩模糊轮廓的图像、以及与问题无关的图像。结果显示,在图像信息被削弱后,模型的回答并没有变保守,反而更依赖语言常识给出“合理”答案。
结论的含义
这说明幻觉的主要来源不是感知能力,而是解码阶段的倾向:模型被训练成给出完整、流畅的回答,而不是承认信息不足。要缓解,需要在训练中加入“拒答”样本,或在解码时引入视觉一致性校验。
工程上的简化做法
要求模型在回答前先列出它实际观察到的视觉证据,再给结论。这个约束能显著降低编造率,代价是输出变长。
读者留言
3 条 · 编辑审核后展示吴
吴与同2026-11-16 16:53
希望多做这类可复核的整理,读者需要的是方法而不是情绪。
有用 9 · 回复
刘
刘子墨2026-11-16 18:06
希望可以增加一个表格汇总关键数据,手机上更好读。
有用 12 · 回复
老
老周2026-11-16 19:19
作为从业者,文中提到的现场问题很真实,尤其是接口和交付那部分。
有用 15 · 回复