Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents

AI 摘要

该论文研究决策模型在长程智能体任务中的三种角色：行动者、评判者和教师。作者在 ALFWorld 上比较三个决策模型和三个通用大模型，发现它们作为行动者时都会因更简单的子目标而偏离必须先完成的子目标；但作为能看到完整轨迹的评判者时，它们能正确归因通向该子目标的步骤，且询问「每个动作是否有帮助」比询问「任务能否成功」更能区分有用与无用动作。以 JEV 作为教师，通过 GRPO 训练 Qwen2.5-1.5B 策略，ALFWorld 成功率从 72.8% 提升至 82.9%，WebShop 从 56.8% 提升至 71.4%。结论是表现不佳的行动者仍可成为好的教师，因为事后评判能揭示行动时必须预见的后果。