Hacker News (AI)klay_moon
行业动态
One MacBook Pro Beat Apple's Four Mac Studios at WWDC26 LoRA Fine-Tuning
AI 摘要
一支小型团队自研张量引擎 NukeTorch,在苹果 WWDC26 展示的 Qwen3.5-9B LoRA 微调任务上,用四台 MacBook Pro M5 Max(各 48GB)通过流水线并行达到 5358.5 tokens/s,约为苹果四台 M3 Ultra Mac Studio 数据并行方案(约 600 tokens/s)的 8.45 倍以上;单台 M5 Max 也以约 180 tokens/s 超过单台 Mac Studio 的 1440.8 tokens/s 之外的对比基线。团队称提速主要来自张量存储重排(Unfolding)与矩阵乘形状切分(Shaping)两项已发表方法,并强调未实际运行苹果的硬件配置。
简评
过去跑大模型微调往往要堆服务器,这项结果说明普通笔记本也能靠算法优化承担训练任务。对从业者,硬件之外的数学优化仍有很大提速空间;对普通用户,未来本地跑 AI 的门槛和成本可能明显下降。
- 本地AI
- 模型微调
- 性能优化
- 苹果芯片
本站只提供模型生成的摘要,不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗