dstack

dstackとは？

dstackは、AI開発、トレーニング、デプロイのためのコンテナオーケストレーションを簡素化するために特別に設計された、KubernetesとSlurmの合理化された代替品です。NVIDIA、AMD、Google TPU、Intel Gaudi、Tenstorrentを含む幅広いアクセラレータをサポートし、主要クラウドプロバイダーとオンプレミスクラスタで円滑に動作します。dstackは、開発環境の管理、分散タスクのスケジューリング、スケーラブルなモデルサービスのデプロイ、GPUクラスタのフリート管理、永続ストレージボリュームの管理のための統合インターフェースを提供します。その構成はYAMLベースで、バージョン管理と自動化が容易です。インフラストラクチャの複雑さを抽象化することで、dstackはAIワークフローを加速し、MLチームの運用オーバーヘッドを削減します。

主な機能

• アクセラレータとクラウドに依存しない

  NVIDIA、AMD、TPU、Intel Gaudi、Tenstorrentなど複数のGPUとAIアクセラレータをサポートし、すべての主要クラウドプロバイダーとオンプレミスサーバーと統合します。

• 統合AIワークフロー・インターフェース

  開発環境、タスクスケジューリング、自動スケーリング機能を持つサービス展開、フリート管理、永続ボリュームに専用構成を提供し、AIライフサイクル全体をカバーします。

• 構成と自動化の簡素化

  宣言型YAMLファイルを使用して環境、ジョブ、サービス、クラスタを定義し、シンプルなCLIまたはAPIを通じて適用し、プロビジョニング、スケーリング、ネットワーキングを自動化します。

• コスト効率の高いマルチクラウドとオンプレミス管理

  ベンダーロックインなしでクラウドとオンプレミスリソースの柔軟な利用を可能にし、GPU使用率とクラウドコストを最適化します。

• 拡張可能なエコシステムを持つオープンソース

  100％オープンソースで活発な開発が行われ、PyTorch、HuggingFace、vLLMなどの人気AIフレームワークとツールとの統合をサポートします。

ユースケース

• インタラクティブ開発環境 : 迅速な実験とコーディングのために、デスクトップIDEからアクセス可能なリモートGPU駆動の開発環境を短時間で立ち上げます。
• 分散トレーニングとファインチューニング : DeepSpeedやHuggingFace Accelerateなどのフレームワークをサポートしながら、クラスタまたは単一ノードにわたって複雑なトレーニングジョブをスケジュールして実行します。
• モデルデプロイメントと推論 : カスタムサービングフレームワークとOpenAI APIに互換性のある、スケーラブルで安全かつ自動スケーリング可能なモデルエンドポイントを展開します。
• クラスタとフリート管理 : クラウドとオンプレミスにまたがる異種GPUクラスタを管理し、効率的なリソース共有とスケーリングを実現します。
• AIワークロード用の永続ストレージ : ネットワークボリュームを使用して、複数の実行と環境間でデータセット、チェックポイント、キャッシュを永続化します。

よくある質問