AI 어시스턴트
채팅 모델은 대화를 처리하고, 애플리케이션은 세션 기록, 인증, 도구 권한을 관리합니다. 보존하는 기록을 제한하고 에스컬레이션 경로를 정의하세요. 작업 완료 여부, 첫 토큰 지연 시간, 정보가 부족할 때의 동작을 평가하세요.
09/워크로드
RAG부터 에이전트까지
LLM 워크로드.
워크로드를 선택하면 일반적으로 필요한 Pod 스택, 적합한 배포 방식, 포함되는 모델 카테고리를 확인할 수 있습니다.
생성된 아키텍처 · RAG
외부사용자
APILLMPods API
POD임베딩 Pod
외부벡터 데이터베이스
POD리랭커 Pod
PODLLM Pod
외부응답
워크로드별로 실제 필요한 것
이 아키텍처 가이드는 애플리케이션의 책임, 모델의 역할, 평가 기준을 설명합니다. 참고용 패턴이며, 최종 구성은 고객의 데이터, 트래픽, 연동 요구 사항에 따라 결정됩니다.
고객 지원
승인된 지식 베이스를 연결하고 작업에 필요한 고객 정보만 전달하세요. 티켓 생성과 계정 변경에는 애플리케이션 측 권한 부여가 필요합니다. 대화량만이 아니라 정확한 답변, 상담원 이관, 정책 준수를 측정하세요.
RAG 및 문서 검색
애플리케이션은 문서를 청크로 나누고 검색 권한과 벡터 데이터베이스를 관리합니다. 임베딩으로 후보를 검색하고, 선택적 리랭킹으로 LLM이 답변을 생성하기 전에 선별 품질을 높입니다. 출처 인용, 검색 재현율, 근거 없는 주장을 평가하세요.
문서 인텔리전스
LLM에 구조화된 필드를 요청하기 전에 OCR 또는 적합한 문서 파서로 텍스트를 추출하세요. 출력을 스키마로 검증하고 원본 참조를 보존하세요. 중요한 계약 또는 재무 필드는 자격을 갖춘 담당자가 검토하도록 하세요.
코딩 어시스턴트
코드 작업이 가능한 모델을 선택하고 어떤 저장소 파일이 프롬프트에 들어가는지 통제하세요. 시크릿은 컨텍스트에서 제외하고, 생성된 코드는 통제된 환경에서 실행하세요. 자체 코드베이스에서 테스트 통과율, 수정 품질, 응답 시간을 비교하세요.
분류 및 추출
배치를 처리하기 전에 레이블과 JSON 스키마를 정의하세요. 대표적인 예시와 명시적인 '알 수 없음' 카테고리를 사용하세요. 정밀도, 재현율, 스키마에 맞는 출력, 레코드당 비용을 추적하고, 신뢰도가 낮은 결과는 검토 대상으로 넘기세요.
음성 및 통화 전사
음성 텍스트 변환 모델이 오디오를 변환하고, 별도의 언어 모델이 요약하거나 후속 조치를 추출할 수 있습니다. 수집 전에 오디오 형식, 동의, 보존 기간을 확인하세요. 실제 녹음으로 단어 오류율, 튀르키예어 억양, 화자 처리를 평가하세요.
도구를 사용하는 에이전트
LLM은 도구 호출을 제안하고, 애플리케이션은 인수를 검증한 뒤 허용된 작업을 실행합니다. 권한 경계, 재시도 한도, 감사 로그를 설정하세요. 작업 성공 여부, 의도하지 않은 작업, 도구 실패 시 복구를 평가하세요.
10/관측성
모든 요청은
흔적을 남깁니다.
지연 시간, 토큰, GPU 부하, 비용을 리전, 모델, Pod별로 나누어 봅니다. 예시 수치는 데모 데이터로 표시됩니다.
트레이스 · 7F39A21데모
00ms요청 수락됨
06ms리전 선택됨
11ms경로 할당됨
18msPod 준비됨
24ms첫 토큰
스트리밍 · 908ms
932ms완료
요청1.28M
토큰214M
TTFT24ms
P50 지연 시간0.93s
P95 지연 시간1.9s
GPU 사용률67%
오류율0.02%
비용₺ [—]
분류 기준 리전 · 모델 · Pod
데모 데이터
●/컨트롤 플레인
같은 시스템을,
소프트웨어로.
콘솔은 웹사이트와 같은 언어를 씁니다. 같은 Pod, 상태 표시 점, 리전 코드, 텔레메트리를 그대로 사용합니다. 전체 콘솔은 별도 아트보드에서 열어 보세요.
활성 Pod8/ 16
요청 / 분4,312데모
토큰 / 초182K데모
GPU 용량67%
지연 시간 P500.93s데모
월간 사용량214M토큰
요청 / 분24h
리전 상태
TR-IST-01정상
유럽네트워크 제공
MENA네트워크 제공
Pod
Pod모델GPU상태부하
POD-018Llama 70BPRO 6000활성
POD-024Qwen CoderPRO 6000웜
POD-031맞춤형PRO 6000전용
POD-041임베딩PRO 6000대기
API 키+ 새 키
프로덕션
llmp_live_••••••••••3F82
추론임베딩모델사용량
만료만료 없음
생성일10월 5일
콘셉트 UI · 데모 데이터
전체 콘솔 열기 →
11/비용 구조
컴퓨팅 사용을
실시간으로 확인하세요.
추론 청구도 요청 자체만큼 투명하게 확인할 수 있어야 합니다. 입력 토큰, 출력 토큰, GPU 시간, 그리고 그에 따라 움직이는 미터까지.
실시간 미터
프롬프트
Pod가 무엇인지 한 문단으로 설명해 주세요.
응답 · 스트리밍
Pod는 예약된 GPU 용량에서 모델을 호스팅하는 격리된 컴퓨팅 단위입니다. 요청은 Pod로 라우팅되어 GPU에 스케줄링되고, 토큰은 생성되는 즉시 스트리밍으로 반환됩니다. 부하가 늘면 Pod가 복제되고, 트래픽이 줄면 대기 상태로 돌아갑니다.
리전TR-IST
모델LLAMA-70B
PODPOD-018
입력 토큰412
출력 토큰1,284
GPU 시간919 ms
예상 비용
(412 + 1,284) 토큰 × $0.25 / 1M = $0.000424
예시 요금 및 한도이며 현재 제공 조건이 아닙니다. 최종 모델 가용성, 가격, 용량, 보존 기간, SLA는 배포 계약에서 정해집니다.
튀르키예에서 해당하는 경우
- USD 요금, TRY 결제USD로 책정되고 TRY로 결제됩니다.
- e-Fatura / e-Arşiv 지원현지 회계 업무 흐름에 맞는 청구서.
- 현지 거래 관계튀르키예 기반 팀이 계약과 지원을 담당합니다.
- 사용량 분석키별, 모델별, Pod별로 확인하고 내보낼 수 있습니다.