AI Platform Monitoring - 실시간 관측성 대시보드

-12.3%

$1,247.83

오늘 총 비용

-8.5%

1.82s

평균 응답시간

+23.1%

2.4M

토큰 사용량

+15.7%

12,847

총 요청 수

+0.3%

99.7%

성공률

실시간 메트릭

알림

최근 24시간

Rate Limit 초과

GPT-4 API 호출량 초과 - 10분 전

레이턴시 증가

Claude 3.5 평균 응답시간 3.2s - 25분 전

모델 업데이트

GPT-4o 버전 업그레이드 완료 - 1시간 전

실행 로그

10:45:32 [ERROR] Rate limit exceeded for gpt-4

10:45:28 [WARN] High latency detected: 3.2s

10:45:25 [INFO] Workflow "market-analysis" started

10:45:20 [SUCCESS] Agent "Strategist" completed

10:45:15 [INFO] RAG retrieval: 5 documents

모델 사용 현황

GPT-4o 48% (1.15M tokens)

Claude 3.5 Sonnet 35% (840K tokens)

GPT-3.5 Turbo 12% (288K tokens)

Gemini 1.5 Pro 5% (120K tokens)

활성 과제

총 비용 (이번 달)

$34,521

총 API 호출

2.4M

평균 성공률

99.2%

과제별 현황

과제명	상태	비용 (이번 달)	API 호출	토큰 사용량	성공률	주요 모델
고객 서비스 챗봇 CS-BOT-001	활성	$8,432	542K	1.2M	99.8%	GPT-4o
시장 분석 에이전트 MKT-AGENT-002	활성	$12,156	324K	2.8M	99.5%	Claude 3.5
문서 요약 파이프라인 DOC-SUM-003	일시정지	$3,892	128K	520K	98.2%	GPT-3.5
코드 리뷰 어시스턴트 CODE-REV-004	활성	$6,721	412K	1.8M	99.9%	Claude 3.5
이미지 생성 서비스 IMG-GEN-005	활성	$3,320	89K	-	99.1%	DALL-E 3

활성 GPU

22/24

평균 사용률

73%

VRAM 사용률

68%

평균 온도

62°C

배포된 모델

FBX-GPU-001

NVIDIA A100 80GB

활성

GPU 사용률 87%

VRAM 68GB / 80GB

온도 71°C

배포된 모델

Llama 3.1 70B Whisper Large

FBX-GPU-002

NVIDIA A100 80GB

활성

GPU 사용률 62%

VRAM 45GB / 80GB

온도 58°C

배포된 모델

CodeLlama 34B

ONPREM-GPU-001

NVIDIA H100 80GB

활성

GPU 사용률 94%

VRAM 72GB / 80GB

온도 78°C

배포된 모델

Mixtral 8x22B BGE-Large

ONPREM-GPU-002

NVIDIA H100 80GB

유휴

GPU 사용률 12%

VRAM 8GB / 80GB

온도 42°C

배포된 모델

배포된 모델 없음

AWS-GPU-001

p4d.24xlarge (A100 x8)

활성

GPU 사용률 78%

VRAM 280GB / 320GB

온도 65°C (avg)

배포된 모델

Llama 3.1 405B

GCP-GPU-001

a2-ultragpu-8g (A100 x8)

활성

GPU 사용률 56%

VRAM 180GB / 320GB

온도 54°C (avg)

배포된 모델

Qwen 72B SDXL

배포된 모델 현황

모델명	버전	인프라	GPU	VRAM 사용	요청/분	평균 레이턴시	상태
Llama 3.1 70B Meta AI	v3.1.0	FabriX	FBX-GPU-001	42GB	128	1.2s	Running
Mixtral 8x22B Mistral AI	v0.3	On-Prem	ONPREM-GPU-001	65GB	86	2.1s	Running
Whisper Large v3 OpenAI	v3.0	FabriX	FBX-GPU-001	12GB	342	0.8s	Running
CodeLlama 34B Meta AI	v2.0	FabriX	FBX-GPU-002	28GB	64	1.5s	Running
Stable Diffusion XL Stability AI	v1.0	CSP (GCP)	GCP-GPU-001	18GB	45	3.2s	Running

Monitoring Dashboard

실시간 메트릭

알림

실행 로그

모델 사용 현황

과제별 현황

배포된 모델 현황

Llama 3.1 70B

실시간 메트릭

사용 중인 과제

알림