Hacker News (AI)Retro_Dev
开源
Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update
AI 摘要
Unsloth 发布 Qwen3.8-27B 的新量化版本，采用 Dynamic V3.1（预览版）算法，在相同文件体积下多数基准测试准确率提升 5-10%，覆盖 2bit 至 6bit 量化（3bit 因提升不明显未更新）。同时提供 NVFP4 量化，在 Blackwell GPU 上比 BF16 快约 1.5 倍，精度保留 92%-97%。Unsloth 还反驳了 ISTA 的 GSQ-RCO 基准结果，称对方仅跑 1 次试验，而自己跑 14 次后结论相反。
简评
量化是把大模型压缩到普通显卡能跑的关键技术，这次更新让同一块 24GB 显存的消费级显卡在相同体积下答得更准。对普通用户来说，意味着本地运行接近旗舰水平的模型门槛继续降低，不必依赖云端 API；对开发者而言，本地智能体编程等任务变得更实用。
- 量化
- 本地部署
- Qwen
- 基准测试
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗