1 in 4 3rd Party AI Endpoints Underperform Their Advertised Models

AI 摘要

Artificial Analysis 发布端点准确度指数 1.1 版，将 100 多个无服务器托管端点与官方权重的参考部署进行对比，发现约四分之一端点的准确率低于参考水平。差距主要源于服务商对权重做量化、修改推理设置、限制输出长度或引入实现缺陷；例如两个输出上限约 3.2 万 token 的端点使约一半 HLE-250 回答被截断，原始准确率降至 22% 和 29%，而参考为 55%。同一模型在不同服务商之间的价格相差 4.4 倍，完成时间从 5.5 分钟到 51.5 分钟不等。