LLMPodsコンピュートネットワーク TR-IST-01 稼働中

立ち上げよう、
インテリジェンスを。

ハードウェアは私たちが担います。

MetaLlama
QwenQwen
DeepSeekDeepSeek
MistralMistral

使い慣れたAPI、スケーラブルなキャパシティ、リージョン単位の制御で、本番環境のAIワークロードを高性能なGPUインフラ上で実行できます。

  • OpenAI互換
  • リージョナルコンピュート
  • 専用GPU
  • オートスケーリング
  • インフラ構築不要
APIゲートウェイ
ルーター · 自動
Podを詳しく見る
Pod IDPOD-018
モデルLLAMA 70B
GPUPRO 6000
リージョンTR-IST
負荷67%
状態アクティブ
Podを詳しく見る
Pod IDPOD-024
モデルQWEN CODER
GPUPRO 6000
リージョンTR-IST
負荷22%
状態ウォーム
Podを詳しく見る
Pod IDPOD-031
モデルカスタム
GPUPRO 6000
リージョンTR-IST
負荷41%
状態専用
Podを詳しく見る
Pod IDPOD-041
モデル埋め込み
GPUPRO 6000
リージョンTR-IST
負荷4%
状態スタンバイ
Podを詳しく見る
Pod IDPOD-007
モデルDEEPSEEK
GPUPRO 6000
リージョンTR-IST
負荷0%
状態スタンバイ
Podを詳しく見る
Pod IDPOD-012
モデルWHISPER
GPUPRO 6000
リージョンTR-IST
負荷0%
状態スタンバイ
リクエストトレースデモデータ
リクエストPOST /v1/chat/completions
リージョンTR-IST-01
ルーター自動
PodPOD-018
モデルLLAMA-70B
最初のトークンデモ 24ms
ストリームアクティブ

LLMPodsの概要

LLMPodsは、オープンモデル推論のためのリージョナルGPUインフラを提供しています。モデル、ワークロード、データ要件に合わせて、デプロイのキャパシティを選択できます。

運営者
Disket Teknoloji Limited Sirketi · イスタンブール/トルコ
現在のコンピュート拠点
イスタンブール / トルコ
モデルファミリー
Llama · Qwen · DeepSeek · Mistral
計画中のリージョン(現時点では利用不可)
フランクフルト / ドイツ · カナダ

モデル、デプロイオプション、料金を見る

本番推論のためのワークスペース

トルコにあるLLMPods所有のGPUインフラ上で、チームのアクセス、プロジェクトの上限、リクエスト単位の使用量を管理できます。

お客様が管理するチームアクセス

役割を定めてチームメンバーを招待し、APIキーをローテーションし、会社のアクティビティを確認できます。招待リンクには有効期限があり、招待された確認済みのメールアドレスが必要です。

プロジェクトの予算と上限

プロジェクトごとに月間予算、リクエストレート、出力トークンの上限を設定できます。リクエストは推論前に推定コストを引き当て、最終的な料金は検証済みのトークン計測値に基づきます。

使用量は追跡し、コンテンツは非公開に

プロジェクト、ステータス、リクエストIDでリクエストを絞り込めます。レイテンシ、トークン、コストを確認し、CSVでエクスポートできます。リクエスト記録に含まれるのはメタデータであり、プロンプトやレスポンスの内容は含まれません。

カスタマーパネルを開く →
お客様の市場に合わせて設計

お客様のAIを、より近い場所で。

レイテンシ、データの保存場所、請求通貨はインフラに関する判断です。後回しにせず、デプロイの一部として決めておきましょう。

01

体感できるレイテンシ。

ネットワーク経路が短いほど、チャットの応答が早く始まる可能性があります。トルコを拠点とするコンピュートは現地のワークロードを近くに保ちますが、最初のトークンまでの時間は、モデルサイズ、キューイング、プロンプトの長さにも左右されます。

最初のトークン、P50、P95は、お客様のアプリケーションから測定してください。

02

KVKKに関するリスクを把握する。

プロンプト、出力、ログ、サポートデータがどこに送られるかを把握してください。モデルのワークロードをトルコ国内で処理することは越境移転を抑えるのに役立つ場合がありますが、適法な処理、保持、アクセス制御は引き続き不可欠です。

現地でのホスティングだけで、KVKKへの準拠が成立するわけではありません。

03

すべての決済に、透明な為替レート。

LLMPodsの使用量はUSD建てで価格設定されています。カード決済はTRYで行われ、決済時点におけるトルコ共和国中央銀行(TCMB)のUSD外国為替売りレートが適用されます。そのため、同じワークロードでもTRY建ての金額は為替レートに応じて変動します。

為替レートとTRY建ての金額は決済前に表示され、決済とともに記録されます。請求書はTRY建てで発行され、適用されたレートが記載されます。

会社情報、プライバシー、利用規約 →

現在はトルコ。今後さらにリージョンを計画中。

現在、コンピュートはトルコでホストされています。フランクフルトとカナダは計画中の拠点であり、現時点でデプロイ可能なリージョンではありません。

  1. 稼働中

    イスタンブール / トルコ

    現在のコンピュート拠点 · TR-IST-01

  2. 計画中

    フランクフルト / ドイツ

    計画中 · 開始時期は未発表

  3. 計画中

    カナダ

    計画中 · 開始時期は未発表

初めてのデプロイの前に確認したいこと。

モデルはどこで実行されますか?

現在のコンピュートはトルコにあります。フランクフルトとカナダは計画中です。他の市場からのリクエストは、GPUを移設することなくトルコから提供できます。

現地のコンピュートは常に高速ですか?

ネットワーク経路が短いと転送遅延を減らせる場合がありますが、最初のトークンまでの時間はモデル、キュー、入力サイズにも左右されます。実際のユーザーの所在地から、同じモデルとプロンプトで比較してください。

トルコでホスティングすれば、自動的にKVKKに準拠したことになりますか?

いいえ。処理の法的根拠、通知、保持、アクセス、そして連携やサポートを通じた移転について、引き続き評価する必要があります。リージョン内のコンピュートは、その評価の一部です。

決済時にはどの為替レートが適用されますか?

価格はUSD建てです。カードで決済する場合、TRY建ての金額はその時点のTCMBのUSD外国為替売りレートで計算され、その決済セッションの間は固定されます。そのため、同じ使用量でもTRY建ての費用は為替レートに応じて変動します。VATは別途表示されます。

会社情報、プライバシー、利用規約 →
01/システム

入力はAPI。
出力はトークン。

すべてのリクエストは同じ7つのレイヤーを通過します。各レイヤーが処理内容を報告するため、経路がブラックボックスになることはありません。

01
アプリケーション
リクエスト7F39A21
メソッドPOST
02
LLMPods API
認証OK
スキーマOPENAI
03
リージョナルルーター
リージョンTR-IST
ルーティング自動
04
モデルスケジューラー
モデルQWEN
キュー0
05
Compute Pod
POD018
状態アクティブ
06
GPU
クラスPRO 6000
割り当て予約
07
トークンストリーム
ステータスストリーミング
最初のトークンデモ 24ms
レイヤー 03 開発者による制御
レイヤー 02 システムインテリジェンス
レイヤー 01 物理コンピュート
レイヤー 03 開発者

例示用テレメトリ · デモデータ

02/開発者体験

エンドポイントを変える。
スタックはそのまま。

LLMPodsはOpenAIのスキーマに対応しています。既存のSDKの接続先を新しいベースURLに変更し、周辺のコードはそのまま維持できます。

llmpods.com/panel/v1
1from openai import OpenAI
2import os
3
4client = OpenAI(
5 base_url="https://llmpods.com/panel/v1",1行で移行 →
6 api_key=os.environ["LLMPODS_API_KEY"],
7)
8
9stream = client.chat.completions.create(
10 model="llama-70b-instruct",
11 messages=[{"role": "user", "content": "Hello, Pod."}],
12 stream=True,
13)
14
15for chunk in stream:
16 print(chunk.choices[0].delta.content or "", end="")
  • 01OpenAI互換スキーマ
  • 02ストリーミングレスポンス
  • 03ツール呼び出し
  • 04埋め込み
  • 05使い慣れたSDKに対応
  • 06開発者本位の移行
03/Pod

Podを、
あらゆるワークロードに。

4つのデプロイトポロジーが、ひとつのランタイム上で動作します。違いは、マシンのどこまでをお客様が専有するかです。

トポロジー 01
共有GPUプール

Shared Pod

エラスティックな推論向け。

  • 従量課金
  • オートスケーリング
  • マネージドインフラ
  • 共有GPUプール
トポロジー 02
予約パーティション

Performance Pod

予測可能な本番ワークロード向け。

  • 予約キャパシティ
  • 優先スケジューリング
  • 安定したパフォーマンス
  • 予測可能な可用性
トポロジー 03
分離

Dedicated Pod

分離されたワークロード向け。

  • 専用GPU
  • カスタムモデル
  • プライベートエンドポイント
  • 分離されたリソース
トポロジー 04

Enterprise Pod

戦略的なインフラ要件向け。

  • マルチGPU
  • 専用クラスター
  • プライベートネットワーク
  • リージョン単位の制御
  • SLA
  • カスタムアーキテクチャ
04/スケール

キャパシティはトラフィックに追従。

ピークトラフィックに合わせてインフラをプロビジョニングするのではなく、需要に応じてキャパシティをスケールできます。

受信トラフィック
リクエスト / 秒
120
アクティブなPod
1
GPU使用率
58%
キュー
0
トークン / 秒
9.6K
ルーター · TR-IST-01 ベースライン · 1 Pod
001 アクティブ
002 スタンバイ
003 スタンバイ
004 スタンバイ
005 スタンバイ
006 スタンバイ
007 スタンバイ
008 スタンバイ
009 スタンバイ
010 スタンバイ
011 スタンバイ
012 スタンバイ
013 スタンバイ
014 スタンバイ
015 スタンバイ
016 スタンバイ
アクティブ ウォーム スタンバイ
例示用シミュレーション
ホーム1 終了 · ヒーローとシステム 次へ — 05 / モデル →