產品概覽
dstack 是什麼？
dstack是Kubernetes和Slurm的簡化替代方案，專為簡化AI開發、訓練和部署的容器協調而設計。它支援包括NVIDIA、AMD、Google TPU、Intel Gaudi和Tenstorrent在內的廣泛加速器，並與主要雲端供應商和本地叢集無縫協作。dstack提供統一的介面，用於管理開發環境、排程分散式任務、部署可擴展的模型服務、處理GPU叢集佇列以及管理持久儲存卷。其配置基於YAML，便於版本控制和自動化。透過抽象基礎設施複雜性，dstack加速AI工作流程，降低機器學習團隊的營運開銷。
主要功能
加速器與雲端服務無關性
支援多種GPU和AI加速器，如NVIDIA、AMD、TPU、Intel Gaudi和Tenstorrent，並與所有主要雲端服務供應商以及本地伺服器整合。
統一AI工作流程介面
為開發環境、任務排程、具有自動擴縮的服務部署、資源叢集管理和持久化儲存卷提供專用配置，涵蓋整個AI生命週期。
簡化配置和自動化
使用聲明式YAML檔案定義環境、作業、服務和叢集，透過簡易的CLI或API應用，自動化完成資源供應、擴展和網路配置。
經濟高效的多雲端和本地管理
實現靈活使用雲端和本地資源，避免供應商鎖定，最佳化GPU使用率和雲端成本。
開源且具有可擴展生態系統
100%開源，積極開發，支援與流行的AI框架和工具整合，如PyTorch、HuggingFace和vLLM。
使用案例
- 互動式開發環境 : 快速建立由GPU驅動的遠端開發環境，可從桌面IDE存取，用於快速實驗和編碼。
- 分散式訓練和微調 : 在叢集或單節點上排程和運行複雜的訓練任務，支援DeepSpeed和HuggingFace Accelerate等框架。
- 模型部署和推論 : 部署可擴展、安全且自動擴縮的模型端點，相容自定義服務框架和OpenAI API。
- 叢集和資源佇列管理 : 管理跨雲端和本地的異構GPU叢集，實現高效的資源共享和擴展。
- AI工作負載的持久儲存 : 使用網路卷在多次運行和環境之間持久化儲存資料集、檢查點和快取。
常見問題
dstack 的替代方案
Convox
用於部署、擴展和管理雲端應用程式的統一平台，具有精簡的 DevOps 工作流程和強大的安全性。
UbiOps
一個靈活的平台，用於在雲端、本地和混合環境中部署、管理和編排AI和ML模型。
Zeet
多雲部署平台，簡化 Kubernetes 與基礎架構管理，內建 CI/CD 與友善開發者工具。
Tensorfuse
Serverless GPU 執行環境，讓 AI 模型於私人雲端可無縫部署、微調與自動擴展。
OpenSauced Pizza
一種命令列工具和GitHub Action，可自動化開源專案的儲存庫管理和程式碼所有權洞察。
ModelScan
開源ML模型安全掃描器，偵測多種模型格式中的不安全程式碼，防止序列化攻擊。
Codesphere
以開發者為中心的雲平台，透過最少的配置實現無縫部署、自動擴展和複雜應用管理。
ClawCloud Run
雲原生平臺，用於快速應用部署、管理和擴展，整合GitOps工作流程和原生Docker/Kubernetes支援。