dstack

dstack이란 무엇인가요?

dstack은 AI 개발, 훈련 및 배포를 위한 컨테이너 오케스트레이션을 단순화하기 위해 설계된 Kubernetes 및 Slurm의 간소화된 대안입니다. NVIDIA, AMD, Google TPU, Intel Gaudi 및 Tenstorrent를 포함한 광범위한 가속기를 지원하며, 주요 클라우드 제공업체 및 온프레미스 클러스터에서 원활하게 작동합니다. dstack은 개발 환경 관리, 분산 작업 예약, 확장 가능한 모델 서비스 배포, GPU 클러스터 관리 및 영구 스토리지 볼륨 관리를 위한 통합 인터페이스를 제공합니다. YAML 기반 구성을 통해 버전 제어 및 자동화가 용이합니다. 인프라 복잡성을 추상화함으로써 dstack은 AI 워크플로우를 가속화하고 ML 팀의 운영 부담을 줄입니다.

주요 기능

• 가속기 및 클라우드 독립성

  NVIDIA, AMD, TPU, Intel Gaudi 및 Tenstorrent와 같은 다양한 GPU 및 AI 가속기를 지원하며, 모든 주요 클라우드 제공업체와 온프레미스 서버와 통합됩니다.

• 통합 AI 워크플로우 인터페이스

  개발 환경, 작업 스케줄링, 자동 확장 기능을 갖춘 서비스 배포, 자원 관리 및 영구 볼륨에 대한 전용 구성을 제공하여 전체 AI 라이프사이클을 지원합니다.

• 간소화된 구성 및 자동화

  선언적 YAML 파일을 사용하여 환경, 작업, 서비스 및 클러스터를 정의하고, 간단한 CLI 또는 API를 통해 적용하여 프로비저닝, 확장 및 네트워킹을 자동화합니다.

• 비용 효율적인 멀티 클라우드 및 온프레미스 관리

  벤더 종속 없이 클라우드 및 온프레미스 자원을 유연하게 사용할 수 있게 하여 GPU 활용률 및 클라우드 비용을 최적화합니다.

• 확장 가능한 생태계를 갖춘 오픈 소스

  100% 오픈 소스로 활발한 개발이 이루어지며, PyTorch, HuggingFace, vLLM과 같은 인기 있는 AI 프레임워크 및 도구와의 통합을 지원합니다.

사용 사례

• 대화형 개발 환경 : 빠른 실험 및 코딩을 위해 데스크톱 IDE에서 접근 가능한 원격 GPU 기반 개발 환경을 신속하게 구축합니다.
• 분산 훈련 및 파인튜닝 : DeepSpeed 및 HuggingFace Accelerate와 같은 프레임워크를 지원하며 클러스터 또는 단일 노드에서 복잡한 훈련 작업을 예약하고 실행합니다.
• 모델 배포 및 추론 : 확장 가능하고 안전하며 자동 확장되는 모델 엔드포인트를 배포하여 사용자 정의 서빙 프레임워크 및 OpenAI API와 호환됩니다.
• 클러스터 및 자원 관리 : 클라우드 및 온프레미스 환경에서 이기종 GPU 클러스터를 관리하여 효율적인 자원 공유 및 확장을 가능하게 합니다.
• AI 워크로드를 위한 영구 스토리지 : 네트워크 볼륨을 사용하여 여러 실행 및 환경에서 데이터셋, 체크포인트 및 캐시를 영구적으로 유지합니다.

자주 묻는 질문