Modal

Qu'est-ce que Modal ?

Modal est une plateforme cloud de fonctions conçue pour les équipes IA, machine learning et data afin d'exécuter des applications intensives en calcul sans gestion d'infrastructure. Elle offre une exécution rapide et serverless du code Python avec des capacités d'autoscaling, y compris le support GPU, permettant aux développeurs de déployer des points d'inférence, des tâches par lots et des tâches planifiées sans effort. Modal simplifie la complexité de l'infrastructure grâce à une interface intuitive basée sur Python pour définir les environnements de conteneurs, les besoins matériels et le stockage persistant, tout en ne facturant que le temps de calcul effectivement utilisé. Son intégration avec Oracle Cloud Infrastructure garantit des performances élevées et une efficacité des coûts pour les charges IA à grande échelle.

Fonctionnalités clés

• Mise à l'échelle automatique sans serveur

  Ajuste automatiquement les ressources de calcul jusqu'à des centaines de GPU ou à zéro en quelques secondes, garantissant une utilisation efficace des ressources et des économies de coûts.

• Limites de ressources élevées

  Prend en charge jusqu'à 64 CPU, 336 Go de RAM et 8 GPU Nvidia H100 par conteneur, permettant l'exécution de charges de travail IA et ML exigeantes.

• Développement centré sur Python

  Les développeurs écrivent et déploient des fonctions Python avec une infrastructure définie comme du code, éliminant le besoin de configuration manuelle ou de fichiers YAML.

• Options de déploiement flexibles

  Les fonctions peuvent être servies comme points de terminaison web, tâches planifiées (cron) ou traitements par lots, avec prise en charge native des primitives de calcul distribué.

• Charges de travail IA accélérées par GPU

  Optimisé pour l'inférence de modèles IA, le fine-tuning et les tâches par lots avec un démarrage rapide des conteneurs GPU et une intégration avec des GPU cloud performants.

• Tarification à l'utilisation (Pay-As-You-Go)

  Facturation basée sur l'utilisation réelle du CPU, GPU et de la mémoire par seconde, éliminant les coûts pour les ressources inactives.

Cas d'utilisation

• Inférence et fine-tuning de modèles IA : Exécutez l'inférence de modèles à grande échelle ou le fine-tuning sur GPU avec une configuration minimale et un déploiement rapide.
• Pipelines de données et traitements par lots : Exécutez des workflows de données complexes, des tâches ETL et des calculs par lots à grande échelle avec des ressources de calcul auto-scalées.
• Applications web en temps réel : Servez des points de terminaison web et des API alimentés par l'IA avec une faible latence et la prise en charge des websockets en temps réel.
• Tâches planifiées et automatisation : Déployez des tâches planifiées de type cron pour le traitement de données ou le réentraînement de modèles sans gestion d'infrastructure.
• Recherche et expérimentation en Machine Learning : Prototypage et itération rapides sur les modèles ML avec un accès instantané à des ressources de calcul évolutives et à un stockage persistant.

FAQ