Singularity-Bench: Can Agents Build Agents?

AI 摘要

研究团队提出开源基准 Singularity-Bench，包含预训练、中期训练、后训练、推理、智能体框架与集群编排六个端到端任务，要求 AI 智能体从最小起点自行实现核心系统，并与成熟的人类工程基线在同一硬件上对比。测试覆盖 7 个前沿模型、2 种框架共 11 个智能体，其中 Opus 5.5 搭配 Claude Code 在全部六项任务上达到或超过人类基线，Singularity-Index 为 1.25，其余智能体平均仅 0.58。团队还通过覆盖 OWASP 智能体应用十大风险中九类的红队测试，发现常用 Harbor 框架存在奖励攻击漏洞，并开发扩展 Breakwater 阻断全部已测攻击。