Hacker News (AI)andyxukq
开源
Running 800B-parameter LLMs on consumer hardware with InferSSD
AI 摘要
开源推理运行时 InferSSD 基于 llama.cpp 构建，将混合专家模型中被路由的专家权重存放在 NVMe 固态硬盘上，只在内存或显存中保留注意力层、共享计算和动态 KV 缓存，从而让消费级硬件运行 763B 和 816B 级大模型。实测在 RTX 5090 上处理 DeepSeek 4K 提示时预填充达 164.5 tokens/s、生成 7.27 tokens/s；48GB 内存的 M5 Max MacBook Pro 上分别为 26.27 和 2.704 tokens/s。项目以 Apache-2.0 协议开源，保留 GGUF 格式、浏览器聊天界面和 OpenAI 兼容 API。
简评
过去跑千亿级模型要整机装满昂贵显存，如今把不常用的专家权重放到普通固态硬盘，笔记本也能跑起来。这意味着大模型的本地部署门槛明显下降，个人开发者和小团队不必依赖云端；代价是生成速度仍偏慢，且长期高强度读取对硬盘寿命的影响还需观察。
- 本地推理
- 混合专家
- 固态硬盘
- 消费级硬件
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗