用 Ollama 在 VPS 上运行本地大模型 - 配置估算与安装

在 VPS 上安装 Ollama,拉取 Llama 3.2 或 Qwen 2.5,并通过 systemd 暴露 OpenAI 兼容 API。真实的内存需求,以及 12 € 的 VPS 实际能跑什么。

运行一个实用的语言模型不需要 GPU 集群。小模型在 CPU 上响应很快,数据也留在自己的服务器上:本指南用真实数字帮您建立合理预期。

1. 您的内存能装下什么

模型所需内存(q4)磁盘占用CPU 速度(实测)适用场景
qwen3:0.6b~1 GB~1 GB非常快路由、分类、测试
llama3.2:3b~4 GB~2 GB约 10–20 token/秒对话、摘要、草稿
qwen2.5:7b~8 GB~5 GB约 4–8 token/秒质量更好,仍可使用
deepseek-r1:14b~16 GB~9 GB较慢推理、分步解答
qwen3:32b~24–32 GB~20 GBCPU 上慢得多本地代码草稿、RAG
llama3.3:70b~64 GB~43 GBGPU 级别:不适合 CPU 型 VPS在 GPU 机器上运行的重负载

内存数值是 Ollama 官方对 4 位量化权重给出的最低要求;磁盘一列是模型文件实际占用的空间。速度来自我们自己的 CPU 实测:硬件信息见基准测试页面。请对自己坦诚:CPU 上的 7B 模型输出速度比您阅读还慢。用于聊天机器人和批处理没问题,用于交互式编程助手则不行:把模型放在 8 GB 套餐上即可平稳运行。

2. 安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh
systemctl enable --now ollama
ollama pull llama3.2:3b
ollama run llama3.2:3b "Say hello in one short sentence."

模型存放在 `/usr/share/ollama/.ollama/models`,每个有几 GB,拉取多个之前请先用 `df -h` 检查剩余磁盘空间。

3. 兼容 OpenAI 的 API

Ollama 在 11434 端口提供 OpenAI API 格式。任何支持自定义 base URL 的客户端都可以使用:

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.2:3b","messages":[{"role":"user","content":"Hello"}]}'

4. 保持私有

Ollama 没有内置身份验证:任何能访问 11434 端口的人都可以拉取、删除您的模型并占用 CPU。不要向全世界开放。要么让 API 只监听 localhost,要么放到 Caddy 后面并设置令牌:

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
llm.example.com {
    @auth header Authorization "Bearer long-random-token"
    handle @auth {
        reverse_proxy 127.0.0.1:11434
    }
    respond 401
}
EOF
systemctl reload caddy

然后让客户端携带该令牌访问 `https://llm.example.com/v1`。

5. 在应用中使用

把客服工单摘要发到 Telegram,对收到的消息分类,为机器人生成草稿,为小型搜索索引计算嵌入向量。一切都留在您的服务器上:没有 API 密钥,没有按 token 计费,数据不会离开这台机器。

ollama ps     # what is loaded right now
ollama list   # downloaded models
journalctl -u ollama -f

6. 更新、上下文与热门模型

2026 年拉取量最高的模型是 DeepSeek-R1、Qwen 3 和 gpt-oss:它们的小型蒸馏版本可以在上表的同类套餐上运行。Ollama 模型库会显示当前榜单。`ollama pull <tag>` 下载模型,再次执行相同的 pull 会更新到最新权重,`ollama rm <tag>` 则释放磁盘空间。

用 `ollama --version` 查看当前版本;稳定版本发布在 Ollama releases 页面。要升级 Ollama 本身,重新运行第 2 节的安装脚本即可:systemd 会用新的二进制文件重启服务。

上下文长度是仅次于模型文件的第二大内存消耗者:Ollama 默认为 4k token,内存占用随“上下文 × 并行请求数”增长。智能体和编程助手需要 32k 以上,因此仅在需要时才调高:

ollama --version            # installed build
ollama pull qwen3:8b        # download or update a model
ollama rm qwen2.5:7b        # free disk space
systemctl edit ollama       # add: Environment="OLLAMA_CONTEXT_LENGTH=16384"

常见问题

仅用 CPU 推理可用吗?

对小模型来说可用。3B 模型在 Ryzen 9 核心上几秒钟就能回答简单提示,批处理任务则完全不在意速度。30B 以上的大模型需要 GPU:需要时再租用一台。

Ollama 需要专用 GPU 的 VPS 吗?

不需要。Ollama 默认在 CPU 上运行量化模型。GPU 能加速大模型,但上表中的所有模型在普通 Buran 套餐上都能轻松运行。

该选哪个套餐?

7B q4 模型约需 8 GB 内存:每月 12 欧元的 Core VPS 4 可轻松运行。13–14B 模型需要 16 GB(Core VPS 6,16 欧元/月),32B 需要 24–32 GB(Core VPS 8,30 欧元/月)。70B q4 模型约需 64 GB,属于 VDS 范畴:真正需要这个级别时再租用 GPU 机器。

上下文会占用多少内存?

模型文件只是下限。Ollama 还会把当前上下文的 KV 缓存放在内存中:默认的 4k 开销很小,7B 模型用 32k 会多占几 GB,并行请求还会成倍增加。如果要把 API 开放给多个用户,请选择比模型大小高一档的套餐。

从小处开始:在8 GB 内存、€12/月的 Core VPS 4 上运行 7B 模型。

相关内容

查看套餐指南常见问题