Wählen Sie einen Workload und sehen Sie, welchen Pod-Stack er üblicherweise braucht, welche Bereitstellung passt und welche Modellkategorien darin stecken.
Diese Architekturleitfäden beschreiben Zuständigkeiten der Anwendung, Rollen der Modelle und Evaluierungskriterien. Es sind Referenzmuster; Ihre Daten, Ihr Traffic und Ihre Integrationsanforderungen bestimmen die endgültige Konfiguration.
Ein Chat-Modell führt den Dialog, während Ihre Anwendung Sitzungsverlauf, Authentifizierung und Tool-Berechtigungen verwaltet. Begrenzen Sie den gespeicherten Verlauf und definieren Sie Eskalationswege. Bewerten Sie Aufgabenerfüllung, Latenz bis zum ersten Token und das Verhalten bei fehlenden Informationen.
Binden Sie eine freigegebene Wissensdatenbank an und übergeben Sie nur die Kundeninformationen, die für die Aufgabe nötig sind. Ticketerstellung und Kontoänderungen erfordern eine Autorisierung auf Anwendungsseite. Messen Sie korrekte Antworten, Übergaben an Mitarbeitende und die Einhaltung von Richtlinien – nicht nur das Gesprächsvolumen.
Ihre Anwendung zerlegt Dokumente in Chunks und verwaltet Abrufberechtigungen sowie eine Vektordatenbank. Embeddings finden Kandidaten; optionales Reranking verbessert die Auswahl, bevor das LLM eine Antwort erzeugt. Bewerten Sie Quellenangaben, Retrieval-Recall und unbelegte Aussagen.
Extrahieren Sie Text per OCR oder mit einem geeigneten Dokumentenparser, bevor Sie strukturierte Felder von einem LLM anfordern. Validieren Sie die Ausgabe gegen ein Schema und bewahren Sie Quellverweise auf. Lassen Sie kritische vertragliche oder finanzielle Felder von einer qualifizierten Person prüfen.
Wählen Sie ein codefähiges Modell und steuern Sie, welche Repository-Dateien in den Prompt gelangen. Halten Sie Secrets aus dem Kontext heraus und führen Sie generierten Code in einer kontrollierten Umgebung aus. Vergleichen Sie Testerfolgsquoten, Qualität der Änderungen und Antwortzeit in Ihrer eigenen Codebasis.
Definieren Sie Labels und ein JSON-Schema, bevor Sie einen Batch verarbeiten. Verwenden Sie repräsentative Beispiele und eine explizite Kategorie „unbekannt“. Verfolgen Sie Precision, Recall, schemakonforme Ausgaben und Kosten pro Datensatz; leiten Sie Ergebnisse mit geringer Konfidenz zur Prüfung weiter.
Ein Speech-to-Text-Modell wandelt Audio in Text um; ein separates Sprachmodell kann zusammenfassen oder Aufgaben extrahieren. Bestätigen Sie Audioformat, Einwilligung und Aufbewahrung, bevor Sie Daten einlesen. Bewerten Sie Wortfehlerrate, türkische Akzente und Sprecherzuordnung anhand echter Aufnahmen.
Das LLM schlägt Tool-Aufrufe vor; Ihre Anwendung validiert die Argumente und führt zulässige Aktionen aus. Legen Sie Berechtigungsgrenzen, Wiederholungslimits und Audit-Logs fest. Bewerten Sie erfolgreichen Abschluss, unbeabsichtigte Aktionen und die Wiederherstellung nach Tool-Fehlern.
Latenz, Tokens, GPU-Last und Kosten, aufgeschlüsselt nach Region, Modell und Pod. Beispielhafte Werte sind als Demonstrationsdaten gekennzeichnet.
Die Konsole spricht die Sprache der Website: dieselben Pods, Statuspunkte, Regionscodes und Telemetrie. Öffnen Sie die vollständige Konsole auf einer eigenen Arbeitsfläche.
Die Abrechnung von Inferenz sollte so nachvollziehbar sein wie die Anfrage selbst. Eingabe-Tokens, Ausgabe-Tokens, GPU-Zeit und der Zähler, der daraus folgt.
Beispielhafte Preise und Limits, kein aktuelles Angebot. Endgültige Modellverfügbarkeit, Preis, Kapazität, Aufbewahrung und SLA werden in Ihrer Bereitstellungsvereinbarung festgelegt.