Orchestra

O que é Orchestra?

Orchestra é uma plataforma de orquestração cloud-native projetada para desacoplar a orquestração do restante do stack de dados, oferecendo uma interface low-code para construir, agendar e monitorar pipelines de dados complexos. Integra-se perfeitamente a ferramentas existentes como ambientes Python, data warehouses e frameworks de transformação como dbt-core™, permitindo que equipes de dados automatizem fluxos de trabalho, mantenham alta qualidade de dados e obtenham total visibilidade das execuções de pipelines. Com linhagem baseada em ativos, observabilidade embutida e alertas consolidados, Orchestra atende tanto usuários técnicos quanto menos técnicos, acelerando o desenvolvimento e garantindo modularidade e governança.

Recursos Principais

• Orquestração de Fluxo de Trabalho Low-Code

  Crie grafos acíclicos direcionados (DAGs) usando uma interface amigável ou YAML declarativo, permitindo o desenvolvimento rápido de pipelines sem necessidade de programação extensa.

• Observabilidade Integrada e Monitoramento de Qualidade de Dados

  Coleta automaticamente metadados granulares e expõe linhagem baseada em ativos, fornecendo visibilidade incomparável sobre falhas de pipeline e qualidade de dados ao longo do tempo.

• Arquitetura Modular com Integração ao Git

  Suporta controle de versão e CI através de definições de pipeline em YAML, permitindo colaboração entre usuários técnicos e não técnicos e reduzindo o lock-in.

• Integrações Gerenciadas Extensas

  Conecta-se facilmente a ferramentas de dados populares, serviços em nuvem e plataformas de IA/ML, eliminando a necessidade de scripts de alerta personalizados e gerenciamento de APIs de terceiros.

• Agendamento e Execução Flexíveis

  Oferece um agendador cron completo com suporte a fuso horário e horário de verão, utilizando execução serverless para manter os custos previsíveis e baixos.

• Alertas e Governança Consolidados

  Centraliza alertas em todos os pipelines e aplica o princípio do menor privilégio, apoiando uma governança de dados robusta e controle operacional.

Casos de Uso

• Automação de Pipeline de Dados : Engenheiros de dados podem automatizar fluxos de trabalho complexos envolvendo ingestão, transformação e carregamento de dados com mínimo esforço de codificação.
• Qualidade de Dados e Observabilidade : Equipes podem monitorar continuamente a qualidade dos dados e identificar rapidamente falhas de pipeline usando metadados detalhados e linhagem.
• Colaboração entre Equipes : Facilita a colaboração entre usuários técnicos e não técnicos por meio de uma interface low-code combinada com versionamento de código, facilitando manutenção e transferência de conhecimento.
• Orquestração de Produtos de IA e Machine Learning : Suporta orquestração de fluxos de trabalho de IA/ML integrando-se a bancos de dados vetoriais, plataformas de dados não estruturados e infraestrutura de nuvem.
• Análise de Custos e Uso para Produtos de Dados : Permite que gerentes de produtos de dados acompanhem métricas de custo e uso para avaliar e otimizar o valor de negócio dos pipelines de dados.

Perguntas Frequentes