When Chekhov's Gun Fires Anyway: Over-Realization in Text-to-Image Models

AI 摘要

研究者提出文本到图像生成中的「过度实现」失败模式：提示词提到的目标会以提示词并未要求的方式出现在生成图像中，例如出现在否定句、人物想象、比喻或隐藏视角之下。团队构建 OverReal 基准，含 698 条覆盖四类情境的提示词（OverReal-Gen）和 2,841 张人工标注图像（OverReal-Det），用于测量并验证自动评判。对八个文本到图像系统的评测显示，所有系统均存在该问题，且 CLIPScore 等常规指标反而奖励而非惩罚这一失败；提示词扩写只能部分缓解。机制上，扩散主干对「被提及目标」的注意力几乎与「被要求目标」相当，而本应抑制该目标的线索词获得的注意力低于普通词。