AWS ML BlogAswath Ram A Srinivasan
产品
Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard
AI 摘要
AWS 发布技术方案，演示如何用 AWS CDK 在 Amazon Bedrock 上部署 LiteLLM 网关，并集成 NVIDIA 开源库 NeMo Switchyard，把编码代理的请求在 Claude Opus 5.5 与 Nemotron 3 Super 120B 之间按 Stage 或 Random 策略路由。方案附带基准测试工具，以「每个成功任务的成本」而非单次调用价格来评估路由效果，并说明该示例仅供非生产环境评估。
简评
编码代理完成一个任务往往要调用模型几十次，只看每百万 token 单价会误判真实开销。这套方案把「任务是否跑通」纳入成本计算，让企业能按实际完成率挑选贵模型与便宜模型的搭配，也为代理基础设施的精细化成本管理提供了可复用的做法。
- 模型路由
- 编码代理
- 成本优化
- Bedrock
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗