Orchestra

Qu'est-ce que Orchestra ?

Orchestra est une plateforme cloud-native d'orchestration conçue pour découpler l'orchestration du reste de la stack data, offrant une interface low-code pour construire, planifier et surveiller des pipelines de données complexes. Elle s'intègre parfaitement aux outils existants comme les environnements Python, les entrepôts de données et les frameworks de transformation tels que dbt-core™, permettant aux équipes data d'automatiser les workflows, de garantir une haute qualité des données et d'obtenir une visibilité complète sur les exécutions de pipelines. Avec une traçabilité basée sur les actifs, une observabilité intégrée et une alerte centralisée, Orchestra s'adresse aussi bien aux utilisateurs techniques qu'aux moins techniques, accélérant le développement tout en assurant modularité et gouvernance.

Fonctionnalités clés

• Orchestration Low-Code des Workflows

  Créez des graphes acycliques dirigés (DAGs) via une interface intuitive ou en YAML déclaratif, permettant un développement rapide de pipelines sans programmation intensive.

• Observabilité intégrée et surveillance de la qualité des données

  Collecte automatiquement des métadonnées détaillées et expose la traçabilité des actifs, offrant une visibilité inégalée sur les échecs de pipelines et la qualité des données dans le temps.

• Architecture modulaire avec intégration Git

  Prend en charge le contrôle de version et l'intégration continue via des définitions de pipelines en YAML, facilitant la collaboration entre utilisateurs techniques et non techniques tout en réduisant l'enfermement propriétaire.

• Intégrations gérées étendues

  Connecte facilement avec les outils de données populaires, les services cloud et les plateformes AI/ML, éliminant le besoin de scripts d'alerte personnalisés et de gestion d'API tierces.

• Planification et exécution flexibles

  Offre un planificateur cron complet avec gestion des fuseaux horaires et de l'heure d'été, et exécute en mode serverless pour garantir des coûts prévisibles et réduits.

• Alerte centralisée et gouvernance

  Centralise les alertes sur tous les pipelines et applique le principe du moindre privilège, soutenant une gouvernance robuste des données et un contrôle opérationnel.

Cas d'utilisation

• Automatisation des pipelines de données : Les ingénieurs de données peuvent automatiser des workflows complexes d'ingestion, de transformation et de chargement des données avec un minimum de code.
• Qualité des données et observabilité : Les équipes peuvent surveiller la qualité des données en continu et identifier rapidement les échecs de pipelines grâce à des métadonnées et une traçabilité détaillées.
• Collaboration inter-équipes : Facilite la collaboration entre utilisateurs techniques et non techniques grâce à une interface low-code combinée au versionnage de code, simplifiant la maintenance et le transfert de connaissances.
• Orchestration des produits AI et Machine Learning : Prend en charge l'orchestration des workflows AI/ML en intégrant des bases de données vectorielles, des plateformes de données non structurées et des infrastructures cloud.
• Analyse des coûts et de l'utilisation pour les produits de données : Permet aux responsables produits de données de suivre les métriques de coût et d'utilisation afin d'évaluer et d'optimiser la valeur métier des pipelines de données.

FAQ