LM Studio vs. Ollama on Linux: same model files, measured on an RTX 3090

AI 摘要

一项在 Linux 系统、单块 RTX 3090 显卡上进行的对比测试显示，Ollama 与 LM Studio 运行相同的 Qwen3.5 GGUF 模型文件时，单次请求的生成速度 Ollama 略快（9B 模型约快 10%，27B 约快 5%），但差距在 512 token 的回答中仅约 0.4 秒；在四路并发请求下，LM Studio 默认配置明显更优，27B 模型总吞吐达 90.2 tokens/s，而 Ollama 因四槽位需要 131072 token 上下文导致部分模型落到 CPU，速度反降至 33.1 tokens/s。两者在相同上下文长度下 GPU 显存占用相当，LM Studio 默认上下文仅 8192 token，Ollama 为 32768。Ollama 导入 GGUF 会复制文件（两个测试模型多占 22.4 GB），LM Studio 可用链接方式不额外占空间。Ollama 为 MIT 开源，LM Studio 应用闭源但个人和商业内部使用免费；LM Studio 官方 Docker 镜像仅支持 CPU，需手动下载 CUDA 运行时才能在 N 卡上运行，且不受官方支持。