お客様が管理するチームアクセス
役割を定めてチームメンバーを招待し、APIキーをローテーションし、会社のアクティビティを確認できます。招待リンクには有効期限があり、招待された確認済みのメールアドレスが必要です。
LLMPodsは、オープンモデル推論のためのリージョナルGPUインフラを提供しています。モデル、ワークロード、データ要件に合わせて、デプロイのキャパシティを選択できます。
モデル、デプロイオプション、料金を見る
トルコにあるLLMPods所有のGPUインフラ上で、チームのアクセス、プロジェクトの上限、リクエスト単位の使用量を管理できます。
役割を定めてチームメンバーを招待し、APIキーをローテーションし、会社のアクティビティを確認できます。招待リンクには有効期限があり、招待された確認済みのメールアドレスが必要です。
プロジェクトごとに月間予算、リクエストレート、出力トークンの上限を設定できます。リクエストは推論前に推定コストを引き当て、最終的な料金は検証済みのトークン計測値に基づきます。
プロジェクト、ステータス、リクエストIDでリクエストを絞り込めます。レイテンシ、トークン、コストを確認し、CSVでエクスポートできます。リクエスト記録に含まれるのはメタデータであり、プロンプトやレスポンスの内容は含まれません。
レイテンシ、データの保存場所、請求通貨はインフラに関する判断です。後回しにせず、デプロイの一部として決めておきましょう。
ネットワーク経路が短いほど、チャットの応答が早く始まる可能性があります。トルコを拠点とするコンピュートは現地のワークロードを近くに保ちますが、最初のトークンまでの時間は、モデルサイズ、キューイング、プロンプトの長さにも左右されます。
最初のトークン、P50、P95は、お客様のアプリケーションから測定してください。
プロンプト、出力、ログ、サポートデータがどこに送られるかを把握してください。モデルのワークロードをトルコ国内で処理することは越境移転を抑えるのに役立つ場合がありますが、適法な処理、保持、アクセス制御は引き続き不可欠です。
現地でのホスティングだけで、KVKKへの準拠が成立するわけではありません。
LLMPodsの使用量はUSD建てで価格設定されています。カード決済はTRYで行われ、決済時点におけるトルコ共和国中央銀行(TCMB)のUSD外国為替売りレートが適用されます。そのため、同じワークロードでもTRY建ての金額は為替レートに応じて変動します。
為替レートとTRY建ての金額は決済前に表示され、決済とともに記録されます。請求書はTRY建てで発行され、適用されたレートが記載されます。
現在、コンピュートはトルコでホストされています。フランクフルトとカナダは計画中の拠点であり、現時点でデプロイ可能なリージョンではありません。
現在のコンピュート拠点 · TR-IST-01
計画中 · 開始時期は未発表
計画中 · 開始時期は未発表
現在のコンピュートはトルコにあります。フランクフルトとカナダは計画中です。他の市場からのリクエストは、GPUを移設することなくトルコから提供できます。
ネットワーク経路が短いと転送遅延を減らせる場合がありますが、最初のトークンまでの時間はモデル、キュー、入力サイズにも左右されます。実際のユーザーの所在地から、同じモデルとプロンプトで比較してください。
いいえ。処理の法的根拠、通知、保持、アクセス、そして連携やサポートを通じた移転について、引き続き評価する必要があります。リージョン内のコンピュートは、その評価の一部です。
価格はUSD建てです。カードで決済する場合、TRY建ての金額はその時点のTCMBのUSD外国為替売りレートで計算され、その決済セッションの間は固定されます。そのため、同じ使用量でもTRY建ての費用は為替レートに応じて変動します。VATは別途表示されます。
すべてのリクエストは同じ7つのレイヤーを通過します。各レイヤーが処理内容を報告するため、経路がブラックボックスになることはありません。
例示用テレメトリ · デモデータ
LLMPodsはOpenAIのスキーマに対応しています。既存のSDKの接続先を新しいベースURLに変更し、周辺のコードはそのまま維持できます。
4つのデプロイトポロジーが、ひとつのランタイム上で動作します。違いは、マシンのどこまでをお客様が専有するかです。
エラスティックな推論向け。
予測可能な本番ワークロード向け。
分離されたワークロード向け。
戦略的なインフラ要件向け。
ピークトラフィックに合わせてインフラをプロビジョニングするのではなく、需要に応じてキャパシティをスケールできます。