Hacker News (AI)sroussey
开源
Edge0-145B: Frontier AI Capabilities on Your Own Computer
AI 摘要
Edge0 开源了 145B 和 120B 两个端侧模型，以及配套的统一推理框架和部署工具。其中 Edge0-145B 号称是首个可在个人笔记本本地运行的 1450 亿参数开源模型，实测峰值内存约 29GB，解码速度超过 80 tokens/s，支持 128K–256K 上下文。官方称其在编程、推理、指令遵循等基准上接近部分前沿云端模型，并演示了本地完成视频制作、Blender 3D 建模、无人机控制程序编写和 PCB 设计等任务。
简评
过去大模型基本只能跑在云端，个人电脑最多带得动几十亿参数的小模型。这次把 1450 亿参数塞进笔记本，意味着写代码、做 3D、控制硬件这类复杂任务可以离线完成，数据不出本机，也不用按 token 付费。对开发者和中小企业来说，云端 API 不再是唯一选择。
- 端侧模型
- 开源
- 本地推理
- 大模型
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗