LLMPods, açık model çıkarımı için bölgesel GPU altyapısı sunar. Dağıtım kapasitesini modeliniz, iş yükünüz ve veri gereksinimleriniz için seçin.
Modelleri, dağıtım seçeneklerini ve fiyatlandırmayı inceleyin
Gecikme, veri konumu ve fatura para birimi altyapı kararlarıdır. Bunları dağıtımınızın en başında belirleyin.
Daha kısa ağ yolları sohbet yanıtının daha erken başlamasına yardımcı olabilir. Türkiye'deki hesaplama, yerel iş yüklerini yakın tutar; ilk token süresini model boyutu, kuyruk ve istem uzunluğu da belirler.
İlk token, P50 ve P95 değerlerini kendi uygulamanızdan ölçün.
İstemlerin, çıktıların, logların ve destek verilerinin nereye gittiğini bilin. Model iş yüklerini Türkiye'de işlemek sınır ötesi aktarımları sınırlamaya yardımcı olabilir; hukuka uygun işleme, saklama ve erişim kontrolleri yine gereklidir.
Yerel barındırma tek başına KVKK uyumu sağlamaz.
Kullanım yabancı para birimiyle fiyatlanıyorsa aynı iş yükü kur değiştiğinde TRY bazında daha pahalı olabilir. Karar vermeden önce fatura para birimini ve kur dönüşüm kuralını belirleyin.
Geçerli olduğu durumlarda TRY faturalama sunulur; USD endeksli fiyatlar kur riski taşımaya devam edebilir.
Hesaplama bugün Türkiye'de barındırılıyor. Frankfurt ve Kanada planlanan lokasyonlardır; bugün dağıtım bölgesi olarak sunulmaz.
Mevcut hesaplama lokasyonu · TR-IST-01
Planlanıyor · açılış tarihi duyurulmadı
Planlanıyor · açılış tarihi duyurulmadı
Mevcut hesaplama Türkiye'dedir. Frankfurt ve Kanada planlanıyor; diğer pazarlardan gelen isteklere GPU'lar taşınmadan Türkiye'den hizmet verilebilir.
Daha kısa ağ rotası iletim gecikmesini azaltabilir; ilk token süresi model, kuyruk ve girdi boyutuna da bağlıdır. Aynı model ve istemi gerçek kullanıcılarınızın konumundan karşılaştırın.
Hayır. İşleme şartlarını, aydınlatmayı, saklamayı, erişimi ve entegrasyon veya destek üzerinden gerçekleşen aktarımları değerlendirmeniz gerekir. Bölgesel hesaplama bu değerlendirmenin bir parçasıdır.
Anlaşılan fiyat USD veya başka bir para birimine endeksliyse hayır. Fiyatın TRY bazında sabit olup olmadığını, hangi tarihin kurunun uygulandığını ve vergilerin dahil olup olmadığını netleştirin.
Her istek aynı yedi katmandan geçer. Her katman ne yaptığını bildirir, yani yol asla kara kutu olmaz.
Örnek telemetri · gösterim verisi
LLMPods, OpenAI şemasını konuşur. Mevcut SDK'nızı yeni bir base URL'ye yönlendirin, etrafındaki kodu olduğu gibi tutun.
Tek runtime üzerinde dört dağıtım topolojisi. Aralarındaki fark, makinenin ne kadarının size ait olduğudur.
Esnek çıkarım için.
Öngörülebilir üretim iş yükleri için.
İzole iş yükleri için.
Stratejik altyapı gereksinimleri için.
Tepe trafik için altyapı ayırmak yerine kapasiteyi talebe göre ölçekleyin.
