When Expert Disagreement Hurts: Prestige and Selectivity in LLM Decision Revision

AI 摘要

研究者提出一种两轮对照审计方法，固定问题、证据和模型初始答案，只改变修订情境（中性反思、匿名异议、专家异议），在医学、科学、法律三个领域的1989个有证据支撑的二元决策上测试五个模型。结果显示，面对专家异议时没有模型达到「选择性修正」的准确率门槛，准确率最多下降16.1个百分点；专家标签虽让五个模型中的四个更频繁改答案，但对准确率的影响从下降5.2点到上升2.4点不等，说明改答案次数不能反映实际危害。论文已被NeurIPS 2026接收。