AIアシスタント
チャットモデルが対話を担い、アプリケーションがセッション履歴、認証、ツールの権限を管理します。保持する履歴を制限し、エスカレーション経路を定義してください。タスクの完了状況、最初のトークンまでのレイテンシ、情報が不足している場合の挙動を評価します。
09/ワークロード
LLMワークロード、
RAGからエージェントまで。
ワークロードを選ぶと、一般的に必要なPodスタック、適したデプロイ、含まれるモデルカテゴリーを確認できます。
生成されたアーキテクチャ · RAG
外部ユーザー
APILLMPods API
POD埋め込みPod
外部ベクトルデータベース
PODリランカーPod
PODLLM Pod
外部レスポンス
各ワークロードに実際に必要なもの
これらのアーキテクチャガイドでは、アプリケーションの責務、モデルの役割、評価基準を説明しています。あくまで参考パターンであり、最終的な構成はお客様のデータ、トラフィック、連携要件によって決まります。
カスタマーサポート
承認済みのナレッジベースを接続し、タスクに必要な顧客情報のみを渡してください。チケットの作成やアカウントの変更には、アプリケーション側での認可が必要です。会話量だけでなく、正答、有人対応への引き継ぎ、ポリシーの遵守を測定してください。
RAGとドキュメント検索
アプリケーション側でドキュメントをチャンクに分割し、検索の権限とベクトルデータベースを管理します。埋め込みで候補を取得し、オプションのリランキングで、LLMが回答を生成する前に選択を改善します。出典の引用、検索の再現率、根拠のない主張を評価してください。
ドキュメントインテリジェンス
LLMに構造化フィールドを要求する前に、OCRまたは適切なドキュメントパーサーでテキストを抽出してください。出力をスキーマで検証し、元資料への参照を保持します。契約や財務に関わる重要なフィールドは、適切な知識を持つ担当者がレビューしてください。
コーディングアシスタント
コードに対応したモデルを選び、どのリポジトリファイルをプロンプトに含めるかを制御してください。シークレットはコンテキストから除外し、生成されたコードは管理された環境で実行します。お客様自身のコードベースで、テストの合格率、編集の品質、応答時間を比較してください。
分類と抽出
バッチを処理する前に、ラベルとJSONスキーマを定義してください。代表的な例と、明示的な「不明」カテゴリーを用意します。適合率、再現率、スキーマに適合した出力、レコードあたりのコストを追跡し、信頼度の低い結果はレビューに回してください。
音声と通話の文字起こし
音声認識モデルが音声をテキストに変換し、別の言語モデルで要約やアクションの抽出を行えます。取り込む前に、音声形式、同意、保持を確認してください。実際の録音を使って、単語誤り率、トルコ語のアクセントへの対応、話者の扱いを評価します。
ツールを使うエージェント
LLMがツール呼び出しを提案し、アプリケーションが引数を検証して許可されたアクションを実行します。権限の境界、リトライ上限、監査ログを設定してください。正常な完了、意図しないアクション、ツール障害からの回復を評価します。
10/オブザーバビリティ
すべてのリクエストが、
トレースを残す。
レイテンシ、トークン、GPU負荷、コストを、リージョン別、モデル別、Pod別に分析できます。例示用の数値はデモデータとして表示しています。
トレース · 7F39A21デモ
00msリクエスト受付
06msリージョン選択済み
11msルート割り当て済み
18msPod準備完了
24ms最初のトークン
ストリーミング · 908ms
932ms完了
リクエスト1.28M
トークン214M
TTFT24ms
P50レイテンシ0.93s
P95レイテンシ1.9s
GPU使用率67%
エラー率0.02%
コスト₺ [—]
集計単位 リージョン · モデル · Pod
デモデータ
●/コントロールプレーン
同じシステムを、
ソフトウェアとして。
コンソールはWebサイトと同じ表現を使っています。同じPod、ステータスドット、リージョンコード、テレメトリです。コンソール全体は専用のアートボードで開けます。
アクティブなPod8/ 16
リクエスト / 分4,312デモ
トークン / 秒182Kデモ
GPUキャパシティ67%
レイテンシ P500.93sデモ
月間使用量214Mトークン
リクエスト / 分24h
リージョンの状態
TR-IST-01正常稼働
欧州ネットワーク経由
MENAネットワーク経由
Pod
PodモデルGPU状態負荷
POD-018Llama 70BPRO 6000アクティブ
POD-024Qwen CoderPRO 6000ウォーム
POD-031カスタムPRO 6000専用
POD-041埋め込みPRO 6000スタンバイ
APIキー+ 新しいキー
本番
llmp_live_••••••••••3F82
推論埋め込みモデル使用量
有効期限有効期限なし
作成日10月5日
コンセプトUI · デモデータ
コンソール全体を開く →
11/経済性
コンピュートの動きを、
リアルタイムで見る。
推論の請求は、リクエストそのものと同じように確認できるべきです。入力トークン、出力トークン、GPU時間、そしてそれに連動するメーター。
ライブメーター
プロンプト
Podとは何かを1段落で説明してください。
レスポンス · ストリーミング
Podは、予約されたGPUキャパシティ上でモデルをホストする、分離されたコンピュート単位です。リクエストはPodにルーティングされてGPU上にスケジューリングされ、トークンは生成され次第ストリーミングで返されます。負荷が高まるとPodは複製され、トラフィックが減るとスタンバイに戻ります。
リージョンTR-IST
モデルLLAMA-70B
PODPOD-018
入力トークン412
出力トークン1,284
GPU時間919 ms
推定コスト
(412 + 1,284) トークン × $0.25 / 1M = $0.000424
料金と上限は例示であり、現在のオファーではありません。最終的なモデルの提供状況、価格、キャパシティ、データ保持、SLAはデプロイ契約で定められます。
トルコで該当する場合
- USD建て価格、TRY決済USD建てで価格設定、TRYで決済。
- e-Fatura / e-Arşiv対応現地の会計ワークフローに適合する請求書。
- 現地での取引関係トルコを拠点とするチームによる契約とサポート。
- 使用量分析キー別、モデル別、Pod別。エクスポート可能。