AWS ML BlogBelair Albahagwi
行业动态
Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot
AI 摘要
AssemblyAI 在 AWS 上为其语音转文字推理服务构建了一套基于 Amazon ECS、EC2 Spot 实例和 SQS 队列的架构：通过混合使用 g4dn、g5、g6 多代 NVIDIA GPU 实例分散 Spot 容量风险，并用队列重试机制在实例被回收时把未完成任务重新排队，同时在美国西部和欧洲伦敦分别部署以满足数据驻留要求。结果显示，推理计算成本相比按需实例节省 70%，在计算需求同比增长近 4 倍的情况下仍保持单位经济性可持续。
简评
语音转文字这类 AI 服务背后是大量昂贵的 GPU 在持续运转，成本直接决定服务能否便宜地卖给用户。AssemblyAI 用「随时可能被收回的便宜算力 + 任务失败自动重排队」把成本砍掉七成，说明 AI 公司拼的不只是模型，还有工程上的省钱能力，这最终会反映到普通用户支付的价格上。
- 语音识别
- 云成本
- GPU推理
- 弹性架构
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗