GMI Cloud

NVIDIA 하드웨어를 기반으로 구축된 프로덕션 AI 워크로드용 serverless 추론과 전용 GPU 인프라를 결합한 추론 우선 GPU 클라우드 플랫폼입니다.

커뮤니티:

대형 언어 모델 (LLMs)

웹사이트 방문

Atoms - AI로 코드 없이 웹사이트·앱 제작

Atoms

Sponsor

코딩 없이 몇 분 만에 아이디어를 검증하고, 웹사이트와 앱을 만들며, 첫 고객을 확보하세요.

개요
대안
분석

Atoms - AI로 코드 없이 웹사이트·앱 제작

제품 개요

GMI Cloud이란 무엇인가요?

GMI Cloud는 프로덕션 AI 추론 및 훈련을 위해 특별히 구축된 AI 네이티브 클라우드 플랫폼입니다. NVIDIA H100, H200 및 곧 출시될 Blackwell GPU에서 serverless 추론, Kubernetes 기반 클러스터 오케스트레이션, 베어메탈 GPU 컴퓨팅을 아우르는 통합 스택을 제공합니다. 이 플랫폼은 하이퍼스케일러의 일반적인 오버헤드를 제거하여 가상화로 인해 손실된 10-15%의 GPU 성능을 회복하는 동시에 할당량이나 장기 약정 없이 투명한 종량제 가격을 제공하도록 설계되었습니다. NVIDIA 클라우드 파트너로서 GMI Cloud는 기업급 보안과 미국, EU, APAC 지역의 글로벌 가용성을 갖춘 최첨단 GPU 하드웨어에 대한 우선 액세스를 제공합니다.

주요 기능

Serverless 추론 엔진
자동 스케일링, 내장 요청 배치 처리, 지연 시간 인식 스케줄링을 통해 AI 모델을 즉시 배포하며, 유휴 비용을 제거하기 위한 제로 스케일링을 포함합니다.
전용 GPU 클러스터 엔진
확장 가능한 GPU 워크로드 관리를 위한 Kubernetes 기반 오케스트레이션 환경으로, 실시간 모니터링, 컨테이너 관리, 안전한 멀티 테넌트 격리 기능을 제공합니다.
고성능 GPU 컴퓨팅
InfiniBand 네트워킹을 갖춘 NVIDIA H100 및 H200 GPU에 온디맨드로 액세스하여 베어메탈에 가까운 성능을 제공하며, 할당량 제한이나 대기열이 없습니다.
요청당 추론 가격
100개 이상의 사전 배포된 모델을 요청당 $0.000001에서 $0.50까지의 요금으로 이용할 수 있어, 장기 계약 없이도 비용 효율적인 추론이 가능합니다.
기업급 보안 및 규정 준수
SOC 2 Type 1 및 ISO 27001:2022 인증을 받은 Tier-4 데이터센터에 배포되어 고가용성, 데이터 보안 및 규정 준수를 보장합니다.

사용 사례

실시간 LLM 서빙 : Llama나 DeepSeek 같은 오픈소스 모델을 실행하는 팀은 추론 엔진을 통해 초저지연으로 서비스를 제공하고 자동 트래픽 스케일링을 할 수 있습니다.
대규모 AI 훈련 : 연구 및 엔지니어링 팀은 최대 처리량을 위한 RDMA 지원 InfiniBand 네트워킹을 갖춘 다중 노드 GPU 클러스터에서 분산 훈련 작업을 실행할 수 있습니다.
AI 스타트업 인프라 : 초기 단계 팀은 초기 비용 없이 serverless로 시작한 다음, 프로덕션 워크로드가 증가함에 따라 재설계 없이 전용 GPU 인프라로 마이그레이션할 수 있습니다.
기업 AI 배포 : 예측 가능한 성능, 규정 준수 및 비용 제어가 필요한 기업은 약정 기반 가격 할인과 함께 전용 베어메탈 GPU를 활용할 수 있습니다.
멀티모달 모델 추론 : 프로덕션 준비된 API는 LLM과 멀티모달 모델 배포를 모두 지원하여 텍스트 생성부터 비전 작업까지 광범위한 추론 워크로드를 다룹니다.