Ploomber

Ploomber이란 무엇인가요?

Ploomber는 사용자가 스크립트, 노트북 또는 함수를 유지보수 가능한 파이프라인으로 변환할 수 있게 하여 데이터 사이언스와 머신러닝 파이프라인의 개발 및 배포를 단순화합니다. Jupyter 노트북에서 프로토타입을 만들고 워크플로우를 깨뜨리지 않고 바로 배포할 수 있어 노트북 리팩토링의 일반적인 문제를 해결합니다. Ploomber는 Python, SQL, 노트북 태스크를 지원하며, 코드 변경을 추적하여 실행을 최적화하고 Kubernetes 및 클라우드 환경 등 다양한 플랫폼에 배포할 수 있습니다.

주요 기능

• 모듈형 파이프라인 구축

  스크립트, 노트북 또는 함수 모음을 명확한 태스크 의존성과 결과가 있는 파이프라인으로 변환합니다.

• Jupyter 완벽 연동

  Jupyter 노트북이나 모든 에디터에서 상호작용적으로 개발한 후, 코드를 다시 작성하지 않고 파이프라인을 배포할 수 있습니다.

• 증분 실행

  결과를 자동으로 캐시하고 소스 코드가 변경된 태스크만 다시 실행하여 개발 사이클을 빠르게 합니다.

• 다중 환경 배포

  파이프라인을 로컬 또는 Kubernetes, Airflow, AWS Batch, SLURM 등 분산 시스템에 코드 변경 없이 배포할 수 있습니다.

• 레거시 노트북 리팩토링

  모놀리식 노트북을 자동으로 모듈형이고 유지보수 가능한 파이프라인으로 변환합니다.

• 광범위한 태스크 지원

  동일한 파이프라인 내에서 Python 함수, 스크립트, 노트북, SQL 스크립트를 지원합니다.

사용 사례

• 데이터 사이언스 워크플로우 자동화 : 모듈형, 재사용 가능한 컴포넌트로 데이터 처리 및 모델 학습 파이프라인을 간소화합니다.
• 협업 기반 머신러닝 개발 : 팀이 파이프라인을 프로토타입, 공유, 배포할 때 코드가 깨지지 않도록 협업을 지원합니다.
• 레거시 노트북 현대화 : 기존 Jupyter 노트북을 유지보수가 용이한 프로덕션 파이프라인으로 전환합니다.
• 확장 가능한 파이프라인 배포 : 로컬에서 실행하거나 클라우드 및 클러스터 환경으로 손쉽게 확장할 수 있습니다.
• 증분 파이프라인 실행 : 변경된 파이프라인 컴포넌트만 다시 실행하여 개발 속도를 최적화합니다.

자주 묻는 질문