arXiv cs.AITanzeel Abbas
论文
Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation
AI 摘要
研究者提出用反事实替换法测量检索增强生成（RAG）系统的引用来源：把检索段落中的事实替换为错误版本后重新提问，观察模型输出是否随之改变。测试一个模型家族的五个规模版本及另一个对比模型家族后发现，1.2%至15.7%的可引用论断实际来自模型参数记忆而非检索内容，且该比例在同一家族内随模型规模增大而上升。研究还发现，常用的自然语言推理验证方法识别引用来源的效果与随机猜测无异，原因是模型凭记忆作答时会挑选与自身输出一致的引用。
简评
RAG 被普遍认为能靠“附上出处”减少胡编，但这项研究表明，模型有时先凭记忆给出答案，再补一条看似匹配的引用，现有核查手段几乎分辨不出。这意味着用户看到的引用未必真被使用，对依赖文档问答做决策的行业和普通使用者都是隐患。
- 检索增强
- 引用溯源
- 模型幻觉
- 评测方法
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗