艾米科技网IMMI-IT.COM
快讯更新中
论文速读 · PAPER NOTES

视觉语言模型的“幻觉”更多来自语言先验

在图像信息不足时,模型倾向于用语言常识补齐答案,而不是承认看不清。

艾米科技网编辑部 2026-11-16 阅读约 5 分钟 频道:AI · 前沿

视觉语言模型在描述图像时经常“编”出画面里没有的东西。一种常见解释是视觉编码器不够强,另一种解释是语言先验在起作用。

实验设计

论文构造了三组输入:完整图像、被遮挡到只剩模糊轮廓的图像、以及与问题无关的图像。结果显示,在图像信息被削弱后,模型的回答并没有变保守,反而更依赖语言常识给出“合理”答案。

结论的含义

这说明幻觉的主要来源不是感知能力,而是解码阶段的倾向:模型被训练成给出完整、流畅的回答,而不是承认信息不足。要缓解,需要在训练中加入“拒答”样本,或在解码时引入视觉一致性校验。

工程上的简化做法

要求模型在回答前先列出它实际观察到的视觉证据,再给结论。这个约束能显著降低编造率,代价是输出变长。

#多模态#幻觉#论文

读者留言

3 条 · 编辑审核后展示
吴
吴与同2026-11-16 16:53

希望多做这类可复核的整理,读者需要的是方法而不是情绪。

有用 9 · 回复
刘
刘子墨2026-11-16 18:06

希望可以增加一个表格汇总关键数据,手机上更好读。

有用 12 · 回复
老
老周2026-11-16 19:19

作为从业者,文中提到的现场问题很真实,尤其是接口和交付那部分。

有用 15 · 回复