Hacker News (AI)klay_moon
行业动态
Pipeline Parallelism is here: 8x faster than Apple's WWDC26 fine-tuning
AI 摘要
一支小型团队宣布其自研训练引擎 NukeTorch 在苹果硬件上运行苹果 WWDC26 的 Qwen3.5-9B 微调流程时,单台 48GB MacBook Pro M5 Max 达到 1440.8 tokens/s,超过苹果公布的四台 M3 Ultra Mac Studio 合计约 600 tokens/s 的成绩;四台 MacBook Pro 通过流水线并行以单根 Thunderbolt 线连接,达到 5358.5 tokens/s,为苹果数字的 8 倍以上。团队同时发布单机推理服务器 NukeTorch N1.0.0 的免费下载,并称正寻求独立评测者验证数据。
简评
如果数据经独立验证,意味着用几台笔记本加普通线缆就能完成过去需要昂贵服务器集群的模型训练和推理,AI 算力的门槛会明显降低。对普通用户来说,本地跑大模型可能更便宜、更私密;对行业而言,英伟达之外的选择多了一个变量。
- 流水线并行
- 苹果芯片
- 模型训练
- 本地推理
本站只提供模型生成的摘要,不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗