Four Amazon Bedrock inference choices that affect cost

AI 摘要

AWS 发布技术文章，说明 Amazon Bedrock 推理请求中的四个参数——提示缓存时长、服务层级、推理努力程度和 maxTokens——会直接影响 token 处理量与计费费率。文章通过实测给出各参数的取舍：1 小时缓存写入成本为输入价的 2 倍，需每小时至少复用两次才划算；Flex 层级在 Nova 2 Lite 上费率为标准层级一半，但延迟更长；降低推理努力在代理任务中可减少约 60% 输出 token；设置 maxTokens 上限可在一次测试中避免 1,893 个输出 token，但会导致响应截断。