LLMPods предоставляет региональную GPU-инфраструктуру для инференса открытых моделей. Выбирайте ресурсы с учётом модели, нагрузки и требований к данным.
Модели, варианты развёртывания и цены
Задержка, размещение данных и валюта счёта — решения об инфраструктуре. Определите их до развёртывания.
Короткий сетевой путь может ускорить начало ответа. Вычисления в Турции приближают местные нагрузки; размер модели, очередь и длина запроса также влияют на первый токен.
Измеряйте первый токен, P50 и P95 из своего приложения.
Отслеживайте передачу запросов, ответов, журналов и данных поддержки. Обработка моделей в Турции может ограничить трансграничную передачу; законность обработки, сроки хранения и доступ остаются важными.
Местное размещение само по себе не обеспечивает соответствие KVKK.
При тарифах в иностранной валюте та же нагрузка может дорожать в TRY при изменении курса. Уточните валюту счёта и правило пересчёта до покупки.
Счета в TRY доступны по условиям договора; тарифы с привязкой к USD сохраняют валютный риск.
Вычисления сегодня размещены в Турции. Франкфурт и Канада — планируемые площадки, пока недоступные для развёртывания.
Текущая площадка · TR-IST-01
Планируется · дата запуска не объявлена
Планируется · дата запуска не объявлена
Текущие вычисления находятся в Турции. Франкфурт и Канада планируются; другие рынки могут обслуживаться из Турции без перемещения GPU.
Короткий маршрут может снизить сетевую задержку, но первый токен зависит и от модели, очереди и входных данных. Сравнивайте одинаковые запросы из местоположения пользователей.
Нет. Необходимо оценить основания обработки, уведомления, хранение, доступ и передачи через интеграции или поддержку. Региональные вычисления — часть этой оценки.
Нет, если цена привязана к USD или другой валюте. Уточните фиксацию цены в TRY, дату пересчёта и включение налогов.
Каждый запрос проходит одни и те же семь слоёв. Каждый слой отчитывается о своей работе, поэтому путь никогда не остаётся чёрным ящиком.
Пример телеметрии · демонстрационные данные
LLMPods понимает схему OpenAI. Направьте существующий SDK на новый base URL, остальной код не меняется.
Четыре топологии развёртывания на одном runtime. Они различаются тем, какая доля машины принадлежит вам.
Для эластичного инференса.
Для предсказуемых боевых нагрузок.
Для изолированных нагрузок.
Для стратегических требований к инфраструктуре.
Масштабируйте ёмкость под спрос, а не закладывайте инфраструктуру под пиковый трафик.
