在 VPS 上安装 Ollama,拉取 Llama 3.2 或 Qwen 2.5,并通过 systemd 暴露 OpenAI 兼容 API。真实的内存需求,以及 12 € 的 VPS 实际能跑什么。
运行一个实用的语言模型不需要 GPU 集群。小模型在 CPU 上响应很快,数据也留在自己的服务器上:本指南用真实数字帮您建立合理预期。
| 模型 | 所需内存(q4) | 磁盘占用 | CPU 速度(实测) | 适用场景 |
|---|---|---|---|---|
| qwen3:0.6b | ~1 GB | ~1 GB | 非常快 | 路由、分类、测试 |
| llama3.2:3b | ~4 GB | ~2 GB | 约 10–20 token/秒 | 对话、摘要、草稿 |
| qwen2.5:7b | ~8 GB | ~5 GB | 约 4–8 token/秒 | 质量更好,仍可使用 |
| deepseek-r1:14b | ~16 GB | ~9 GB | 较慢 | 推理、分步解答 |
| qwen3:32b | ~24–32 GB | ~20 GB | CPU 上慢得多 | 本地代码草稿、RAG |
| llama3.3:70b | ~64 GB | ~43 GB | GPU 级别:不适合 CPU 型 VPS | 在 GPU 机器上运行的重负载 |
内存数值是 Ollama 官方对 4 位量化权重给出的最低要求;磁盘一列是模型文件实际占用的空间。速度来自我们自己的 CPU 实测:硬件信息见基准测试页面。请对自己坦诚:CPU 上的 7B 模型输出速度比您阅读还慢。用于聊天机器人和批处理没问题,用于交互式编程助手则不行:把模型放在 8 GB 套餐上即可平稳运行。
curl -fsSL https://ollama.com/install.sh | sh systemctl enable --now ollama ollama pull llama3.2:3b ollama run llama3.2:3b "Say hello in one short sentence."
模型存放在 `/usr/share/ollama/.ollama/models`,每个有几 GB,拉取多个之前请先用 `df -h` 检查剩余磁盘空间。
Ollama 在 11434 端口提供 OpenAI API 格式。任何支持自定义 base URL 的客户端都可以使用:
curl http://127.0.0.1:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"llama3.2:3b","messages":[{"role":"user","content":"Hello"}]}'Ollama 没有内置身份验证:任何能访问 11434 端口的人都可以拉取、删除您的模型并占用 CPU。不要向全世界开放。要么让 API 只监听 localhost,要么放到 Caddy 后面并设置令牌:
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
llm.example.com {
@auth header Authorization "Bearer long-random-token"
handle @auth {
reverse_proxy 127.0.0.1:11434
}
respond 401
}
EOF
systemctl reload caddy然后让客户端携带该令牌访问 `https://llm.example.com/v1`。
把客服工单摘要发到 Telegram,对收到的消息分类,为机器人生成草稿,为小型搜索索引计算嵌入向量。一切都留在您的服务器上:没有 API 密钥,没有按 token 计费,数据不会离开这台机器。
ollama ps # what is loaded right now ollama list # downloaded models journalctl -u ollama -f
2026 年拉取量最高的模型是 DeepSeek-R1、Qwen 3 和 gpt-oss:它们的小型蒸馏版本可以在上表的同类套餐上运行。Ollama 模型库会显示当前榜单。`ollama pull <tag>` 下载模型,再次执行相同的 pull 会更新到最新权重,`ollama rm <tag>` 则释放磁盘空间。
用 `ollama --version` 查看当前版本;稳定版本发布在 Ollama releases 页面。要升级 Ollama 本身,重新运行第 2 节的安装脚本即可:systemd 会用新的二进制文件重启服务。
上下文长度是仅次于模型文件的第二大内存消耗者:Ollama 默认为 4k token,内存占用随“上下文 × 并行请求数”增长。智能体和编程助手需要 32k 以上,因此仅在需要时才调高:
ollama --version # installed build ollama pull qwen3:8b # download or update a model ollama rm qwen2.5:7b # free disk space systemctl edit ollama # add: Environment="OLLAMA_CONTEXT_LENGTH=16384"
对小模型来说可用。3B 模型在 Ryzen 9 核心上几秒钟就能回答简单提示,批处理任务则完全不在意速度。30B 以上的大模型需要 GPU:需要时再租用一台。
不需要。Ollama 默认在 CPU 上运行量化模型。GPU 能加速大模型,但上表中的所有模型在普通 Buran 套餐上都能轻松运行。
7B q4 模型约需 8 GB 内存:每月 12 欧元的 Core VPS 4 可轻松运行。13–14B 模型需要 16 GB(Core VPS 6,16 欧元/月),32B 需要 24–32 GB(Core VPS 8,30 欧元/月)。70B q4 模型约需 64 GB,属于 VDS 范畴:真正需要这个级别时再租用 GPU 机器。
模型文件只是下限。Ollama 还会把当前上下文的 KV 缓存放在内存中:默认的 4k 开销很小,7B 模型用 32k 会多占几 GB,并行请求还会成倍增加。如果要把 API 开放给多个用户,请选择比模型大小高一档的套餐。
从小处开始:在8 GB 内存、€12/月的 Core VPS 4 上运行 7B 模型。