arXiv cs.AIChunkit Chan
论文
MuSeToM: Multi-Sensory Evaluation of Belief Revision with Textual Cues Across Six Senses
AI 摘要
研究团队构建了 MuSeToM 基准，用于评估大语言模型在「心智理论」推理中判断他人信念是否需要修正的能力。该基准包含 2415 个测试实例，改编自 BigToM 和 OpenToM，文本线索覆盖六种感官类别。对当前先进模型的系统评测显示，模型往往能察觉信念可能变化，却难以推断出更新后的信念内容，并且容易在感知上显著但证据不足的线索上过度修正信念。
简评
这揭示出大模型「懂人心」的表象下存在明显短板：它能感觉对方可能改变想法，却说不清改成了什么，还容易被显眼但无关的线索带偏。对普通用户而言，这意味着把情绪判断、客服沟通等任务交给 AI 时仍需人工把关。
- 心智理论
- 大模型评测
- 信念修正
- 多感官
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗