AI 助手
对话模型负责处理对话，您的应用负责管理会话历史、身份验证和工具权限。请限制保留的历史记录，并定义升级处理路径。评估任务完成情况、首个 Token 延迟，以及信息缺失时的表现。
09/工作负载
LLM 工作负载
从 RAG 到智能体。
选择一种工作负载，查看它通常需要的 Pod 堆栈、适合的部署方式，以及其中包含的模型类别。
生成的架构 · RAG
外部用户
APILLMPods API
POD嵌入 Pod
外部向量数据库
POD重排序 Pod
PODLLM Pod
外部响应
每种工作负载的实际需求
这些架构指南介绍了应用的职责、模型的角色和评估标准。它们只是参考模式；最终配置取决于您的数据、流量和集成需求。
客户支持
接入经批准的知识库，并只传递完成任务所需的客户信息。创建工单和变更账户需要在应用侧进行授权。衡量回答正确率、转人工情况和政策遵守情况，而不只是对话量。
RAG 与文档检索
由您的应用对文档进行分块，并维护检索权限和向量数据库。嵌入用于召回候选内容；可选的重排序会在 LLM 生成回答前优化筛选结果。请评估来源引用、检索召回率以及缺乏依据的陈述。
文档智能
在请求 LLM 输出结构化字段之前，先使用 OCR 或合适的文档解析器提取文本。根据 schema 校验输出，并保留来源引用。关键的合同或财务字段应由具备资质的人员审核。
编程助手
选择具备代码能力的模型，并控制哪些代码仓库文件进入提示词。不要将密钥等机密信息放入上下文，并在受控环境中执行生成的代码。在您自己的代码库上比较测试通过率、修改质量和响应时间。
分类与信息抽取
在批量处理之前，先定义标签和 JSON schema。使用有代表性的示例，并设置明确的“未知”类别。跟踪精确率、召回率、符合 schema 的输出比例和每条记录的成本；将低置信度结果转交审核。
语音与通话转写
语音转文字模型负责转换音频；另一个语言模型可以生成摘要或提取待办事项。在接入音频之前，请确认音频格式、知情同意和保留要求。在真实录音上评估词错误率、对土耳其语口音的处理和说话人区分效果。
使用工具的智能体
LLM 提出工具调用；您的应用负责校验参数并执行允许的操作。设置权限边界、重试上限和审计日志。评估任务成功完成情况、非预期操作，以及从工具故障中恢复的能力。
10/可观测性
每个请求
都有迹可循。
延迟、Token、GPU 负载和成本，可按区域、模型和 Pod 细分查看。示意数字均标注为演示数据。
追踪 · 7F39A21演示
00ms请求已接收
06ms已选定区域
11ms已分配路由
18msPod 就绪
24ms首个 Token
流式传输 · 908ms
932ms完成
请求数1.28M
Token214M
TTFT24ms
P50 延迟0.93s
P95 延迟1.9s
GPU 利用率67%
错误率0.02%
成本₺ [—]
细分维度 区域 · 模型 · Pod
演示数据
●/控制平面
同一套系统，
以软件形态呈现。
控制台沿用网站的设计语言：同样的 Pod、状态圆点、区域代码和遥测。可在独立画板中打开完整控制台。
活跃 Pod8共 16
请求数 / 分钟4,312演示
Token / 秒182K演示
GPU 容量67%
延迟 P500.93s演示
月用量214MToken
请求数 / 分钟24h
区域健康状况
TR-IST-01运行正常
欧洲网络服务
MENA网络服务
Pod
Pod模型GPU状态负载
POD-018Llama 70BPRO 6000活跃
POD-024Qwen CoderPRO 6000预热
POD-031定制PRO 6000专用
POD-041嵌入PRO 6000待机
API 密钥+ 新建密钥
生产环境
llmp_live_••••••••••3F82
推理嵌入模型用量
到期时间永不过期
创建时间10月5日
概念界面 · 演示数据
打开完整控制台 →
11/经济性
算力消耗，
实时可见。
推理计费应当与请求本身一样可查可验。输入 Token、输出 Token、GPU 时间，以及随之累计的计量。
实时计量
提示词
用一段话解释什么是 Pod。
响应 · 流式传输
Pod 是一个隔离的计算单元，在预留的 GPU 容量上托管模型。请求被路由到 Pod 并调度到 GPU 上执行，Token 边生成边流式返回。负载升高时 Pod 会复制扩展；流量回落时则恢复待机。
区域TR-IST
模型LLAMA-70B
PODPOD-018
输入 Token412
输出 Token1,284
GPU 时间919 ms
预估成本
(412 + 1,284) Token × $0.25 / 1M = $0.000424
价格和限制仅为示例，并非现行报价。最终的模型可用性、价格、容量、数据保留期和 SLA 以您的部署协议为准。
土耳其境内（如适用）
- USD 计价，TRY 支付以 USD 计价，以 TRY 支付。
- 支持 e-Fatura / e-Arşiv发票适配本地会计流程。
- 本地商务合作由土耳其本地团队负责合同与支持。
- 用量分析可按密钥、模型、Pod 细分，并可导出。