Ploomber

Qu'est-ce que Ploomber ?

Ploomber est conçu pour simplifier le développement et le déploiement de pipelines de data science et de machine learning en permettant aux utilisateurs de convertir des scripts, notebooks ou fonctions en pipelines maintenables. Il résout le problème courant de la refactorisation des notebooks en permettant aux équipes de prototyper dans Jupyter puis de déployer sans casser les workflows. Ploomber prend en charge les tâches Python, SQL et notebooks, suit les changements de code pour optimiser l'exécution, et peut être déployé sur diverses plateformes, y compris Kubernetes et les environnements cloud.

Fonctionnalités clés

• Construction modulaire de pipeline

  Convertissez des collections de scripts, notebooks ou fonctions en pipelines avec des dépendances de tâches et des sorties claires.

• Intégration transparente avec Jupyter

  Développez de façon interactive avec les notebooks Jupyter ou tout éditeur, puis déployez les pipelines sans réécrire le code.

• Exécution incrémentale

  Met en cache automatiquement les résultats et réexécute uniquement les tâches dont le code source a changé, accélérant ainsi les cycles de développement.

• Déploiement multi-environnements

  Déployez les pipelines localement ou sur des systèmes distribués comme Kubernetes, Airflow, AWS Batch ou SLURM sans modifier le code.

• Refactorisation des notebooks hérités

  Convertissez automatiquement des notebooks monolithiques en pipelines modulaires et maintenables.

• Support étendu des tâches

  Prend en charge les fonctions Python, scripts, notebooks et scripts SQL dans un même pipeline.

Cas d'utilisation

• Automatisation des workflows de data science : Rationalisez le traitement des données et l'entraînement des modèles avec des composants modulaires et réutilisables.
• Développement collaboratif de machine learning : Permettez aux équipes de prototyper, partager et déployer des pipelines de façon collaborative sans casser le code.
• Modernisation des notebooks hérités : Transformez des notebooks Jupyter existants en pipelines prêts pour la production pour une meilleure maintenabilité.
• Déploiement de pipelines à l'échelle : Exécutez les pipelines sur des machines locales ou passez à des environnements cloud et clusters sans effort.
• Exécution incrémentale de pipeline : Optimisez la vitesse de développement en ne relançant que les composants de pipeline modifiés.

FAQ