AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents

AI 摘要

研究者提出 AstroMemBench，一个面向具身航天器智能体的记忆系统基准测试，并配套场景-挑战-能力设计方法，把通信延迟、时限操作、环境不确定性、功耗与算力限制、安全可靠性等需求转化为可执行的记忆测试。该基准覆盖行星表面作业、在轨服务与深空探测三类场景下的九项任务，包含 16 个记忆子挑战、140 个模板和 2240 个实例，并用确定性环境从任务完成、状态变化、安全与资源使用四方面为动作打分。九种条件下的消融实验显示，该基准对智能体恢复和使用历史信息的准确度以及记忆系统设计差异较为敏感。主实验比较六种配置：Mem0、Chain-of-Memory、LightMem 与检索增强生成（RAG）在同一次会话内的平均得分均高于原生 Pi Agent，但三种记忆系统相对 RAG 没有明显优势；会话重启后，Mem0 比 RAG 高 12.25 分。收益主要体现在指令保持和结果复用上，而非持续状态跟踪与能量预留。AstroMemBench 1.0 及评测代码已公开。