🚀 Yapay zekâ için VPS - kendi sunucunuzda LLM (Ollama…

Yapay zekâ için VPS: €12/ay'dan kendi barındırdığınız LLM'ler. NVMe, ayrılmış IP ve ölçülmeyen trafikli KVM VPS'te Ollama, llama.cpp ve vLLM. Verileriniz sunucudan çıkmaz.

Ayrılmış IP üzerinde kendi barındırdığınız LLM'ler ve OpenAI uyumlu uç noktalar - €12'de 8B modellerden Performance VPS'te daha büyük kurulumlara. Token başına fatura yok, sunucunuzdan çıkan veri yok.

Kendi barındırmak neden bulut API'sinden iyidir

Bulut yapay zekâsı her token'ı ölçer: faturalar her deneyle büyür, istek sınırları geliştirmenin ortasında devreye girer ve istemleriniz başkasının altyapısından geçer. VPS bunu tersine çevirir - sabit aylık fiyat ödersiniz, donanımınızın izin verdiği kadar istek çalıştırırsınız ve her istem ve belge kontrol ettiğiniz bir makinede kalır. Takas dürüst: modeli ve güncellemeleri kendiniz yönetirsiniz.

Hangi model için hangi plan

8 GB RAM (Core VPS 4, €12) - kuantize 7–8B modeller (Llama, Mistral, Qwen sınıfı): sağlam bir yerel asistan ve özetleme. 16 GB (Core VPS 6) - bağlam için yerle Q4'te 13–14B. 32 GB ve üzeri (Performance VPS, VDS) - daha büyük modeller, aynı anda birkaç kullanıcı, uzun bağlam pencereleri. Ağırlıklar NVMe'de model başına 4–10 GB yer kaplar; CPU çıkarımı küçük modeller ve toplu işler için çeviktir ve dürüst olmak gerekirse gerçek zamanlı GPU'nun yerini tutmaz - aşağıdaki sınırlara bakın.

İşe yarayan yığın

Ollama bir modeli indirir ve tek komutla sunar - yerel bir asistana en hızlı yol. llama.cpp server size OpenAI uyumlu bir HTTP API verir, böylece OpenAI formatını konuşan her uygulama temel URL'sini VPS'inize yönlendirebilir. vLLM verim önemli olduğunda sürekli toplu işleme ekler. Open WebUI sohbet arayüzünü sağlar. Hepsini otomatik yeniden başlatma için systemd arkasına koyun ve model değiştirmeden önce anlık görüntü alın - konteynerli dağıtımları Docker rehberi anlatır.

Dürüst sınırlar

GPU sunucusu satmıyoruz: burada çıkarım CPU ve RAM üzerinde çalışır; bu, 7–14B kuantize modeller, kendi belgeleriniz üzerinde RAG ve hafif üretim için gerçekten yeterlidir - eğitim, gradyanlı ince ayar veya gerçek zamanlı video için yeterli değildir. Bu işler uzman sağlayıcılardan hızlandırıcılar ister; bunu siparişten sonra keşfetmenizdense baştan söylemeyi tercih ederiz. Diğer her şey - trafik, disk, çalışma süresi - koşullarımıza tabidir.

Hızlı yanıtlar

İlk yerel model için hangi plan?

Ollama ile €12'lik Core VPS 4, 7–8B kuantize modelleri rahatça kaldırır. 13–14B veya yan yana birkaç model istiyorsanız 16 GB'lık Core VPS 6'yı alın.

OpenAI uyumlu bir API var mı?

Evet - llama.cpp sunucusu ve vLLM, OpenAI tarzı uç noktalar sunar. Uygulamanızın temel URL'sini VPS'e yönlendirin ve mevcut kodunuzla çalışmaya devam edin.

GPU sunuyor musunuz?

Hayır. Tüm Buran VPS serileri CPU + NVMe'dir. Eğitim ve GPU çıkarımı için uzman bir sağlayıcıya ihtiyacınız var - bunu siparişten sonra değil, önce söylüyoruz.

Bu gece kendi yapay zekâ uç noktanız Sabit aylık fiyat, ayrılmış IP, sunucudan hiç çıkmayan veriler. Plan seçin →

İlgili

Paketleri görRehberlerSSS