Lokales LLM auf einem VPS mit Ollama - Dimensionierung und…

Ollama auf einem VPS installieren, Llama 3.2 oder Qwen 2.5 laden und eine OpenAI-kompatible API per systemd bereitstellen. Realistische RAM-Zahlen und was ein 12-€-VPS wirklich schafft.

Sie brauchen keine GPU-Farm, um ein nützliches Sprachmodell zu betreiben. Kleine Modelle antworten schnell auf CPU und halten Ihre Daten auf Ihrem eigenen Server - dieser Leitfaden setzt realistische Erwartungen mit echten Zahlen.

1. Was in Ihren RAM passt

ModellRAM nötig (q4)Auf der FestplatteGeschwindigkeit auf CPU (gemessen)Gut geeignet für
qwen3:0.6b~1 GB~1 GBsehr schnellRouting, Klassifikation, Tests
llama3.2:3b~4 GB~2 GB~10–20 Tokens/sChat, Zusammenfassungen, Entwürfe
qwen2.5:7b~8 GB~5 GB~4–8 Tokens/sBessere Qualität, weiterhin brauchbar
deepseek-r1:14b~16 GB~9 GBlangsamerLogik, schrittweise Antworten
qwen3:32b~24–32 GB~20 GBdeutlich langsamer auf CPULokale Code-Entwürfe, RAG
llama3.3:70b~64 GB~43 GBGPU-Klasse - nichts für ein CPU-VPSSchwere Lasten auf einer GPU-Maschine

RAM-Zahlen sind die offiziellen Ollama-Minima für 4-Bit-quantisierte Gewichte; die Spalte „Auf der Festplatte“ ist die tatsächliche Größe der Modelldatei. Die Geschwindigkeiten stammen aus eigenen CPU-Messungen - die Hardware ist auf der Benchmark-Seite dokumentiert. Seien Sie ehrlich zu sich selbst: Ein 7B-Modell auf CPU schreibt langsamer, als Sie lesen. Für Chat-Bots und Stapelverarbeitung ist das in Ordnung; für interaktive Coding-Assistenten nicht - halten Sie das Modell auf einem 8-GB-Tarif, und es läuft ohne Drama.

2. Ollama installieren

curl -fsSL https://ollama.com/install.sh | sh
systemctl enable --now ollama
ollama pull llama3.2:3b
ollama run llama3.2:3b "Say hello in one short sentence."

Modelle liegen in `/usr/share/ollama/.ollama/models` - jeweils einige Gigabyte, prüfen Sie also mit `df -h` den freien Speicher, bevor Sie mehrere ziehen.

3. OpenAI-kompatibles API

Ollama spricht das OpenAI-API-Format auf Port 11434. Jeder Client, der eine eigene Basis-URL unterstützt, funktioniert:

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.2:3b","messages":[{"role":"user","content":"Hello"}]}'

4. Privat halten

Ollama hat keine integrierte Authentifizierung: Wer Port 11434 erreichen kann, kann Ihre Modelle laden und löschen und die CPU auslasten. Stellen Sie es nicht der Welt offen. Entweder halten Sie das API auf localhost oder stellen Sie es hinter Caddy mit einem Token:

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
llm.example.com {
    @auth header Authorization "Bearer long-random-token"
    handle @auth {
        reverse_proxy 127.0.0.1:11434
    }
    respond 401
}
EOF
systemctl reload caddy

Richten Sie dann Ihren Client mit diesem Token auf `https://llm.example.com/v1`.

5. In Ihren Apps nutzen

Support-Tickets in Telegram zusammenfassen. Eingehende Nachrichten klassifizieren. Entwürfe für einen Bot erzeugen. Embeddings für einen kleinen Suchindex berechnen. All das bleibt auf Ihrem Server: keine API-Schlüssel, keine Abrechnung pro Token, keine Daten, die die Maschine verlassen.

ollama ps     # what is loaded right now
ollama list   # downloaded models
journalctl -u ollama -f

6. Updates, Kontext und beliebte Modelle

Die meistgeladenen Modelle 2026 sind DeepSeek-R1, Qwen 3 und gpt-oss - ihre kleinen distillierten Varianten laufen auf denselben Tarifen wie die Tabelle oben. Die Ollama-Bibliothek zeigt die aktuelle Liste. `ollama pull <tag>` lädt ein Modell, ein erneuter Pull aktualisiert es auf die neuesten Gewichte, und `ollama rm <tag>` gibt den Speicher zurück.

Prüfen Sie Ihren Build mit `ollama --version`; stabile Releases erscheinen auf der Ollama-Releases-Seite. Um Ollama selbst zu aktualisieren, führen Sie das Installationsskript aus Abschnitt 2 erneut aus - systemd startet den Dienst mit der neuen Binärdatei neu.

Die Kontextlänge ist nach der Modelldatei der zweite RAM-Verbraucher: Ollama nutzt standardmäßig 4k Tokens, und der Speicher skaliert mit Kontext × parallele Anfragen. Agenten und Coding-Assistenten wollen 32k+ - erhöhen Sie das also nur, wenn Sie es brauchen:

ollama --version            # installed build
ollama pull qwen3:8b        # download or update a model
ollama rm qwen2.5:7b        # free disk space
systemctl edit ollama       # add: Environment="OLLAMA_CONTEXT_LENGTH=16384"

Kurzantworten

Ist reine CPU-Inferenz brauchbar?

Für kleine Modelle ja. Ein 3B-Modell beantwortet einfache Prompts in wenigen Sekunden auf einem Ryzen-9-Core-Set, und Batch-Jobs interessiert die Geschwindigkeit überhaupt nicht. Große 30B+-Modelle brauchen eine GPU - mieten Sie eine, wenn Sie sie brauchen.

Braucht Ollama ein dediziertes GPU-VPS?

Nein. Ollama läuft standardmäßig auf CPU mit quantisierten Modellen. GPUs beschleunigen große Modelle, aber alles in der Tabelle oben läuft bequem auf einem normalen Buran-Tarif.

Welchen Tarif sollte ich wählen?

Ein 7B-q4-Modell braucht etwa 8 GB RAM - Core VPS 4 für €12/Monat betreibt es bequem. 13–14B-Modelle wollen 16 GB (Core VPS 6, €16/Monat), 32B will 24–32 GB (Core VPS 8, €30/Monat). Ein 70B-q4-Modell braucht ~64 GB, das ist VDS-Territorium - mieten Sie eine GPU-Maschine, wenn Sie diese Klasse wirklich brauchen.

Wie viel RAM verbraucht der Kontext?

Die Modelldatei ist nur die Untergrenze. Ollama hält den KV-Cache des aktiven Kontexts ebenfalls im RAM - die voreingestellten 4k sind günstig, 32k bei einem 7B-Modell addieren mehrere GB, und parallele Anfragen multiplizieren das. Wenn Sie das API mehreren Nutzern anbieten, wählen Sie einen Tarif eine Stufe über der Modellgröße.

Klein anfangen: Betreiben Sie ein 7B-Modell auf Core VPS 4 mit 8 GB für €12/Monat.

Verwandte Themen

Tarife ansehenAnleitungenFAQ