LiveGeo: Benchmarking Geographic Agents in Continuously Evolving Worlds

AI 摘要

研究团队提出 GeoWorld 地理环境平台与 LiveGeo 基准，用于评估大模型智能体在持续变化的地理环境中的决策能力。GeoWorld 基于真实地理结构，允许外部世界状态按自身时间进程演化并保留可验证的历史记录；LiveGeo 要求智能体主动获取信息、核验旧决策依据是否仍有效并在必要时修改计划。结果显示，即使前沿大模型在静态任务上也表现吃力，没有模型能在所有任务中稳定领先，静态表现强并不代表动态环境下可靠；主要瓶颈在于智能体难以获取并转化相关证据为有效决策，也难以在世界变化中维持决策正确性。团队已公开 LiveGeo 与 GeoWorld，供社区研究下一代能在演化地理环境中可靠行动的智能体。