dstack

Qu'est-ce que dstack ?

dstack est une alternative rationalisée à Kubernetes et Slurm, conçue spécifiquement pour simplifier l'orchestration de conteneurs pour le développement, l'entraînement et le déploiement d'IA. Il prend en charge une large gamme d'accélérateurs, notamment NVIDIA, AMD, Google TPU, Intel Gaudi et Tenstorrent, et fonctionne parfaitement avec les principaux fournisseurs de cloud ainsi qu'avec les clusters sur site. dstack offre des interfaces unifiées pour la gestion des environnements de développement, la planification des tâches distribuées, le déploiement de services de modèles évolutifs, la gestion des flottes de clusters GPU et la gestion des volumes de stockage persistants. Sa configuration est basée sur YAML, facilitant le contrôle de version et l'automatisation. En abstrayant la complexité de l'infrastructure, dstack accélère les flux de travail d'IA et réduit les frais opérationnels pour les équipes de ML.

Fonctionnalités clés

• Indépendant des accélérateurs et du cloud

  Prend en charge plusieurs GPU et accélérateurs d'IA tels que NVIDIA, AMD, TPU, Intel Gaudi et Tenstorrent, et s'intègre avec tous les principaux fournisseurs de cloud ainsi qu'avec les serveurs sur site.

• Interfaces de flux de travail IA unifiées

  Fournit des configurations dédiées pour les environnements de développement, la planification des tâches, le déploiement de services avec mise à l'échelle automatique, la gestion de flotte et les volumes persistants pour couvrir l'ensemble du cycle de vie de l'IA.

• Configuration et automatisation simplifiées

  Utilise des fichiers YAML déclaratifs pour définir les environnements, les tâches, les services et les clusters, appliqués via une simple CLI ou API, automatisant le provisionnement, la mise à l'échelle et la mise en réseau.

• Gestion multi-cloud et sur site rentable

  Permet une utilisation flexible des ressources cloud et sur site sans dépendance vis-à-vis d'un fournisseur, optimisant l'utilisation des GPU et les coûts du cloud.

• Open source avec écosystème extensible

  100% open source avec développement actif, supportant l'intégration avec des frameworks et outils d'IA populaires comme PyTorch, HuggingFace et vLLM.

Cas d'utilisation

• Environnements de développement interactifs : Déployez rapidement des environnements de développement distants alimentés par GPU accessibles depuis des IDE de bureau pour une expérimentation et un codage rapides.
• Entraînement distribué et fine-tuning : Planifiez et exécutez des tâches d'entraînement complexes sur des clusters ou des nœuds individuels avec support pour des frameworks comme DeepSpeed et HuggingFace Accelerate.
• Déploiement de modèles et inférence : Déployez des points de terminaison de modèles évolutifs, sécurisés et à mise à l'échelle automatique compatibles avec des frameworks de service personnalisés et les API OpenAI.
• Gestion de clusters et de flottes : Gérez des clusters GPU hétérogènes à travers les clouds et sur site, permettant un partage efficace des ressources et une mise à l'échelle.
• Stockage persistant pour les charges de travail IA : Utilisez des volumes réseau pour persister les jeux de données, les points de contrôle et le cache entre plusieurs exécutions et environnements.

FAQ