AWS ML BlogSiddharth Senger
行业动态
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 摘要
AWS 发布技术方案，在 SageMaker HyperPod 的 PyTorch 分布式训练中加入三项检查以检测静默数据损坏（SDC，即 GPU 返回错误但不报错的数值）：梯度 NaN/Inf 检查、跨节点环形重算审计、更新后权重指纹比对。方案在 32 块 H100 上通过注入故障验证，可定位故障 GPU 并交由 HyperPod 替换节点；每 100 步审计一次约增加 10% 训练耗时，无故障运行未出现误报。
简评
大模型训练烧掉大量算力，最怕的不是机器报错，而是硬件悄悄算错却毫无提示，几小时后才发现模型变差。这套方法让训练脚本自己互相核对结果，把看不见的故障变成可定位、可替换的节点，对做大规模训练的团队是实用止损手段。
- 静默数据损坏
- 分布式训练
- GPU 故障
- SageMaker
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗