AB VPS'inde Ollama ile LLM çıkarımını kendiniz barındırın: Ryzen 9 7950X3D, 96 GB'a kadar RAM, tam root, token başına ücret yok. Rehber dahil, €13/ay'dan, kriptoyla ödeyin.
Önce dürüst boyutlandırma: bu bir CPU sunucusu, GPU bulutu değil. Hızlı NVMe'li Ryzen 9 7950X3D üzerinde kuantize 7B–14B modeller (Q4/Q5) sohbet, sınıflandırma, bilgi çıkarma ve araç çağıran ajanlar için kullanılabilir hızda token üretir. Bu, dahili araçların çoğunu karşılar. 70B modellerde saniyede yüzlerce token gerekiyorsa bu GPU alanıdır ve bunu açıkça söyleriz.
| İş yükü | Paket | Neler sığar |
|---|---|---|
| Deneyler, embedding'ler, küçük sohbet | Core VPS 4 NVMe - €13/ay | 8 GB RAM: 7B Q4 modeller rahatça |
| Canlı ajan, araçlar, RAG | Core VPS 12 NVMe - €60/ay | 48 GB RAM: 14B Q5 + vektör veritabanı yan yana |
| Büyük bağlam, toplu işler, çok sayıda model | Performance Plus 16 - €165/ay | Paralel istemler için 64 GB RAM ve 16 vCPU |
Hayır - ve aksini iddia etmiyoruz. GPU çıkarımı için bir GPU sağlayıcısı kullanın; CPU dostu modeller, özel veriler ve öngörülebilir maliyetler için bu daha iyi bir araçtır.
Hayır - bu sizin localhost'unuz. İstek sınırları ancak önüne kendiniz bir proxy koyarsanız olur.
Yeni bir etiket istediğinizde `ollama pull`; memnun kalana kadar eski etiketi tutun - tek maliyet disk.
Faturasız çıkarım Sabit aylık fiyat, tam root, AB veri merkezi. Yapay zekâ için kurun →