Локальная LLM на VPS с Ollama - подбор железа и установка

Установите Ollama на VPS, скачайте Llama 3.2 или Qwen 2.5 и откройте OpenAI-совместимый API через systemd. Реальные цифры по RAM и то, что действительно потянет VPS за 12 €.

Чтобы запустить полезную языковую модель, ферма GPU не нужна. Небольшие модели быстро отвечают на процессоре и хранят ваши данные на вашем сервере - в этом руководстве ожидания подкреплены реальными цифрами.

1. Что помещается в вашу RAM

МодельНужно RAM (q4)На дискеСкорость на CPU (замер)Подходит для
qwen3:0.6b~1 ГБ~1 ГБочень быстроМаршрутизация, классификация, тесты
llama3.2:3b~4 ГБ~2 ГБ~10–20 токенов/сЧат, резюме, черновики
qwen2.5:7b~8 ГБ~5 ГБ~4–8 токенов/сЛучше качество, всё ещё удобно
deepseek-r1:14b~16 ГБ~9 ГБмедленнееРассуждения, пошаговые ответы
qwen3:32b~24-32 ГБ~20 ГБнамного медленнее на CPUЛокальные черновики кода, RAG
llama3.3:70b~64 ГБ~43 ГБКласс GPU - не для VPS на процессореТяжёлые задачи на машине с GPU

Цифры RAM - официальные минимумы Ollama для 4-битных квантованных весов; столбец «На диске» - реальный размер файла модели. Скорости получены нашими собственными замерами на CPU - оборудование описано на странице бенчмарков. Будьте честны с собой: модель 7B на процессоре пишет медленнее, чем вы читаете. Для чат-ботов и пакетной обработки это нормально, для интерактивных помощников по коду - нет; держите модель на тарифе с 8 ГБ, и всё будет работать без драм.

2. Установите Ollama

curl -fsSL https://ollama.com/install.sh | sh
systemctl enable --now ollama
ollama pull llama3.2:3b
ollama run llama3.2:3b "Say hello in one short sentence."

Модели хранятся в `/usr/share/ollama/.ollama/models` - по несколько гигабайт каждая, поэтому перед загрузкой нескольких проверьте свободное место командой `df -h`.

3. API, совместимый с OpenAI

Ollama говорит на формате OpenAI API на порту 11434. Подойдёт любой клиент, который поддерживает собственный базовый URL:

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.2:3b","messages":[{"role":"user","content":"Hello"}]}'

4. Держите его закрытым

У Ollama нет встроенной аутентификации: любой, кто достучится до порта 11434, сможет скачивать и удалять ваши модели и нагружать процессор. Не открывайте его в интернет. Либо оставьте API на localhost, либо поставьте его за Caddy с токеном:

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
llm.example.com {
    @auth header Authorization "Bearer long-random-token"
    handle @auth {
        reverse_proxy 127.0.0.1:11434
    }
    respond 401
}
EOF
systemctl reload caddy

Затем направьте клиент на `https://llm.example.com/v1` с этим токеном.

5. Используйте в своих приложениях

Сводки обращений в поддержку - в Telegram. Классификация входящих сообщений. Черновики для бота. Эмбеддинги для небольшого поискового индекса. Всё остаётся на вашем сервере: никаких API-ключей, оплаты за токены и утечки данных за пределы машины.

ollama ps     # what is loaded right now
ollama list   # downloaded models
journalctl -u ollama -f

6. Обновления, контекст и популярные модели

Самые загружаемые модели 2026 года - DeepSeek-R1, Qwen 3 и gpt-oss; их небольшие дистиллированные версии работают на тех же тарифах, что в таблице выше. Актуальный список показывает библиотека Ollama. `ollama pull <tag>` скачивает модель, повторный pull обновляет её до последних весов, а `ollama rm <tag>` освобождает диск.

Проверить версию можно командой `ollama --version`; стабильные релизы публикуются на странице релизов Ollama. Чтобы обновить сам Ollama, снова запустите скрипт установки из раздела 2 - systemd перезапустит службу с новым бинарником.

Длина контекста - второй потребитель RAM после файла модели: по умолчанию Ollama использует 4k токенов, а память растёт вместе с контекстом и числом параллельных запросов. Агентам и помощникам по коду нужно 32k+, поэтому увеличивайте только при необходимости:

ollama --version            # установленная сборка
ollama pull qwen3:8b        # скачать или обновить модель
ollama rm qwen2.5:7b        # освободить место на диске
systemctl edit ollama       # добавить: Environment="OLLAMA_CONTEXT_LENGTH=16384"

Быстрые ответы

Пригоден ли вывод только на процессоре?

Для небольших моделей - да. Модель 3B отвечает на простые запросы за несколько секунд на ядрах Ryzen 9, а пакетным задачам скорость вообще не важна. Большие модели от 30B требуют GPU - арендуйте его, когда понадобится.

Нужен ли Ollama отдельный VPS с GPU?

Нет. По умолчанию Ollama работает на процессоре с квантованными моделями. GPU ускоряют большие модели, но всё из таблицы выше спокойно работает на обычном тарифе Buran.

Какой тариф выбрать?

Модели 7B q4 нужно около 8 ГБ RAM - Core VPS 4 за €12/мес справляется с запасом. Моделям 13–14B нужно 16 ГБ (Core VPS 6, €16/мес), 32B - 24–32 ГБ (Core VPS 8, €30/мес). Модель 70B q4 требует ~64 ГБ - это уже территория VDS; арендуйте машину с GPU, когда такой класс действительно понадобится.

Сколько RAM занимает контекст?

Файл модели - лишь нижняя граница. Ollama держит в RAM ещё и KV-кэш активного контекста: 4k по умолчанию обходятся дёшево, 32k на модели 7B добавляют несколько гигабайт, а параллельные запросы умножают это. Если API открыт нескольким пользователям, берите тариф на ступень выше, чем требует размер модели.

Начните с малого: модель 7B на Core VPS 4 с 8 ГБ за €12/мес.

Смотрите также

Смотреть тарифыГайдыFAQ