「史上最严」湿实验预测基准发布！推理拉满、算力翻5倍也白搭

AI 摘要

UniPat AI 联合斯坦福、哈佛、康奈尔等机构推出湿实验预测基准 SPU，包含 116 个任务、4207 个湿实验，覆盖化学、材料、生物和医学。模型需在 8 小时内自主检索、使用科研软件并提交实验结果排序，再与实测数据比对。首轮评测 12 款前沿模型共 13 种配置，最高平均分仅 0.486，多数配置只有 34% 至 52% 的任务超过随机水平；将 GPT-6 Astra 推理强度调至最高后，运行时间增至 4.8 倍、API 成本增至 5.3 倍，得分却几乎不变。数据集与代码已开源。