New 'Access to Justice' Benchmark: Leading AI Models Miss Critical Legal Details

AI 摘要

Vals AI 与 NextLadder Ventures 于11月10日发布 Access to Justice 基准，用252个模拟法律援助对话测试23个AI模型处理低收入美国人常见民事法律问题（驱逐、子女监护、债务催收、家暴申请等）的能力。没有模型达到主办方设定的80%可靠首触点门槛，最高分为阿里巴巴 Qwen 3.8 Max 的76.4%。模型在一般法律解释上满足78%至87%的评分标准，但在指出本地法律援助机构、法院自助中心或具体表格时仅达30%至50%；23个模型中有21个在至少70%的最终回答中转而推荐全国性目录。免费版与付费版模型平均分仅差0.7个百分点。