Orchestra

Что такое Orchestra?

Orchestra — это облачная платформа оркестрации, предназначенная для отделения оркестрации от остального data-стека, предлагающая low-code интерфейс для создания, планирования и мониторинга сложных пайплайнов данных. Платформа интегрируется с существующими инструментами, такими как Python, хранилища данных и фреймворки трансформации, например dbt-core™, позволяя data-командам автоматизировать рабочие процессы, поддерживать высокое качество данных и получать полный контроль над выполнением пайплайнов. Благодаря родословной активов, встроенной наблюдаемости и централизованным оповещениям Orchestra поддерживает как технических, так и менее технических пользователей, ускоряя разработку при сохранении модульности и управляемости.

Ключевые функции

• Low-Code Workflow Orchestration

  Создавайте ориентированные ациклические графы (DAG) с помощью удобного интерфейса или декларативного YAML, что позволяет быстро разрабатывать пайплайны без необходимости обширного программирования.

• Integrated Observability and Data Quality Monitoring

  Автоматически собирает подробные метаданные и отображает родословную активов, обеспечивая непревзойдённую видимость сбоев пайплайнов и качества данных со временем.

• Modular Architecture with Git Integration

  Поддерживает контроль версий и CI через YAML-описания пайплайнов, что позволяет сотрудничать техническим и нетехническим пользователям и снижает зависимость от платформы.

• Extensive Managed Integrations

  Легко подключается к популярным инструментам работы с данными, облачным сервисам и AI/ML платформам, устраняя необходимость в пользовательских скриптах оповещений и управлении сторонними API.

• Flexible Scheduling and Execution

  Предлагает полный cron-планировщик с поддержкой часовых поясов и перехода на летнее время, а также использует serverless-исполнение для предсказуемых и низких затрат.

• Consolidated Alerting and Governance

  Централизует оповещения по всем пайплайнам и обеспечивает принцип наименьших привилегий, поддерживая строгий контроль доступа и управление данными.

Варианты использования

• Data Pipeline Automation : Инженеры данных могут автоматизировать сложные рабочие процессы по загрузке, преобразованию и выгрузке данных с минимальными усилиями по программированию.
• Data Quality and Observability : Команды могут непрерывно отслеживать качество данных и быстро выявлять и устранять сбои пайплайнов с помощью подробных метаданных и родословной.
• Cross-Team Collaboration : Обеспечивает сотрудничество технических и нетехнических пользователей через low-code интерфейс и контроль версий кода, облегчая сопровождение и передачу знаний.
• AI and Machine Learning Product Orchestration : Поддерживает оркестрацию AI/ML рабочих процессов за счёт интеграции с векторными базами данных, платформами для неструктурированных данных и облачной инфраструктурой.
• Cost and Usage Analytics for Data Products : Позволяет менеджерам по data-продуктам отслеживать расходы и использование для оценки и оптимизации бизнес-ценности пайплайнов.

Часто задаваемые вопросы