Orchestra

Orchestra이란 무엇인가요?

Orchestra는 오케스트레이션을 데이터 스택의 다른 부분과 분리하여, 복잡한 데이터 파이프라인을 구축, 스케줄링, 모니터링할 수 있는 로우코드 인터페이스를 제공하는 클라우드 네이티브 오케스트레이션 플랫폼입니다. Python 환경, 데이터 웨어하우스, dbt-core™와 같은 변환 프레임워크 등 기존 도구와 원활하게 통합되어 데이터 팀이 워크플로를 자동화하고, 높은 데이터 품질을 유지하며, 파이프라인 실행에 대한 완전한 가시성을 확보할 수 있습니다. 자산 기반 계보, 내장 관측성, 통합 알림 기능을 갖추어 기술자와 비기술자 모두의 개발 속도를 높이고, 모듈성 및 거버넌스를 보장합니다.

주요 기능

• 로우코드 워크플로 오케스트레이션

  사용하기 쉬운 UI 또는 선언적 YAML을 통해 방향성 비순환 그래프(DAG)를 구축하여 광범위한 코딩 없이 신속하게 파이프라인을 개발할 수 있습니다.

• 통합 관측성과 데이터 품질 모니터링

  세분화된 메타데이터를 자동으로 수집하고 자산 기반 계보를 제공하여 파이프라인 장애 및 데이터 품질을 장기간에 걸쳐 뛰어난 가시성으로 확인할 수 있습니다.

• Git 연동 모듈형 아키텍처

  YAML 기반 파이프라인 정의를 통해 버전 관리와 CI를 지원하며, 기술자와 비기술자 간 협업을 가능하게 하고 락인을 줄입니다.

• 광범위한 관리형 통합

  주요 데이터 도구, 클라우드 서비스, AI/ML 플랫폼과 손쉽게 연결되며, 별도의 알림 스크립트나 서드파티 API 관리가 필요 없습니다.

• 유연한 스케줄링 및 실행

  타임존과 일광 절약 시간제를 지원하는 완전한 크론 스케줄러를 제공하며, 서버리스 실행으로 비용을 예측 가능하고 낮게 유지합니다.

• 통합 알림 및 거버넌스

  파이프라인 전반의 알림을 중앙에서 관리하고 최소 권한 접근을 적용하여 강력한 데이터 거버넌스와 운영 통제를 지원합니다.

사용 사례

• 데이터 파이프라인 자동화 : 데이터 엔지니어는 최소한의 코딩으로 데이터 수집, 변환, 적재 등 복잡한 워크플로를 자동화할 수 있습니다.
• 데이터 품질 및 관측성 : 팀은 데이터 품질을 지속적으로 모니터링하고, 상세한 메타데이터와 계보를 통해 파이프라인 장애를 신속히 파악하고 복구할 수 있습니다.
• 팀 간 협업 : 로우코드 UI와 코드 버전 관리가 결합된 환경을 통해 기술자와 비기술자 간 협업을 촉진하며, 유지보수와 지식 이전을 용이하게 합니다.
• AI 및 머신러닝 제품 오케스트레이션 : 벡터 데이터베이스, 비정형 데이터 플랫폼, 클라우드 인프라와의 통합을 통해 AI/ML 워크플로 오케스트레이션을 지원합니다.
• 데이터 제품의 비용 및 사용 분석 : 데이터 제품 매니저가 파이프라인의 비용과 사용 지표를 추적하여 비즈니스 가치를 평가하고 최적화할 수 있습니다.

자주 묻는 질문