Bir iş yükü seçin; genellikle ihtiyaç duyduğu Pod yığınını, uygun dağıtımı ve içindeki model kategorilerini görün.
Bu mimari rehberler uygulamanın sorumluluklarını, model rollerini ve değerlendirme ölçütlerini açıklar. Referans tasarımlardır; son yapılandırmayı veriniz, trafiğiniz ve entegrasyon gereksinimleriniz belirler.
Sohbet modeli diyaloğu yürütür; oturum geçmişini, kimlik doğrulamayı ve araç izinlerini uygulamanız yönetir. Saklanan geçmişi sınırlayın ve yönlendirme yollarını belirleyin. Görev başarısını, ilk token gecikmesini ve eksik bilgi durumunu değerlendirin.
Onaylı bilgi tabanını bağlayın ve yalnızca görev için gerekli müşteri verisini gönderin. Destek kaydı ve hesap değişiklikleri uygulama tarafında yetkilendirme gerektirir. Yalnızca sohbet sayısını değil, doğru yanıtları, insana devirleri ve politika uyumunu ölçün.
Uygulamanız belgeleri parçalara ayırır; erişim izinlerini ve vektör veritabanını yönetir. Embedding adayları getirir, isteğe bağlı reranking LLM yanıtından önce seçimi iyileştirir. Kaynak atıflarını, erişim başarısını ve dayanaksız iddiaları değerlendirin.
LLM’den yapılandırılmış alan istemeden önce OCR veya uygun belge ayrıştırıcıyla metni çıkarın. Çıktıyı şemayla doğrulayın ve kaynak referanslarını saklayın. Kritik sözleşme veya finans alanlarını yetkin bir kişiyle kontrol edin.
Kod odaklı model seçin ve isteme giren depo dosyalarını kontrol edin. Gizli bilgileri bağlama eklemeyin; üretilen kodu kontrollü ortamda çalıştırın. Kendi kod tabanınızda test başarısını, değişiklik kalitesini ve yanıt süresini karşılaştırın.
Toplu işleme öncesinde etiketleri ve JSON şemasını belirleyin. Temsili örnekler ve açık bir bilinmiyor kategorisi kullanın. Kesinliği, duyarlılığı, şemaya uygun çıktıları ve kayıt başı maliyeti izleyin; belirsiz sonuçları incelemeye yönlendirin.
Konuşmayı metne çeviren model sesi dönüştürür; ayrı bir dil modeli özet veya aksiyon çıkarabilir. Aktarım öncesinde ses biçimini, rızayı ve saklamayı netleştirin. Gerçek kayıtlarda kelime hata oranını, Türkçe aksanları ve konuşmacı ayrımını değerlendirin.
LLM araç çağrısı önerir; uygulamanız argümanları doğrular ve izinli aksiyonları yürütür. Yetki sınırlarını, tekrar limitlerini ve denetim kayıtlarını tanımlayın. Tamamlanma başarısını, istenmeyen aksiyonları ve araç hatalarından kurtulmayı ölçün.
Gecikme, token, GPU yükü ve maliyet; bölge, model ve Pod'a göre dilimlenir. Örnek değerler gösterim verisi olarak işaretlenir.
Konsol, sitenin diliyle konuşur: aynı Pod'lar, durum noktaları, bölge kodları ve telemetri. Tam konsolu kendi çalışma alanında açın.
Çıkarım faturalaması, istek kadar denetlenebilir olmalı. Giren token, çıkan token, GPU süresi ve ardından gelen sayaç.
Örnek fiyat ve limitlerdir; güncel teklif değildir. Model kullanılabilirliği, fiyat, kapasite, saklama ve SLA dağıtım sözleşmesinde belirlenir.