Ploomber

Ploomber 是什麼？

Ploomber 讓資料科學與機器學習 pipeline 的開發與部署變得簡單，協助使用者將 script、notebook 或 function 轉換為易於維護的 pipeline。它解決了 notebook 重構的常見問題，讓團隊可於 Jupyter notebook 原型設計後，直接部署而不中斷工作流程。Ploomber 支援 Python、SQL 及 notebook 任務，能追蹤程式碼變動以最佳化執行，並可部署於多種平台（如 Kubernetes 及雲端環境）。

主要功能

• 模組化 Pipeline 建構

  將多個 script、notebook 或 function 組合成具有明確任務相依性與輸出的 pipeline。

• 無縫 Jupyter 整合

  可於 Jupyter notebook 或任何編輯器中互動式開發，完成後無需重寫程式碼即可部署 pipeline。

• 增量式執行

  自動快取結果，僅重新執行有原始碼變動的任務，大幅加速開發流程。

• 多環境部署

  可於本地端或分散式系統（如 Kubernetes、Airflow、AWS Batch、SLURM）部署 pipeline，無需修改任何程式碼。

• 舊有 Notebook 重構

  自動將龐大的 notebook 轉換為模組化、易於維護的 pipeline。

• 多元任務支援

  同一個 pipeline 可同時支援 Python function、script、notebook 及 SQL script。

使用案例

• 資料科學流程自動化 : 以模組化、可重複使用的元件，簡化資料處理與模型訓練 pipeline。
• 協作式機器學習開發 : 讓團隊成員可協作原型設計、共享與部署 pipeline，且不會破壞原有程式碼。
• 舊有 Notebook 現代化 : 將現有 Jupyter notebook 轉換為可量產、易維護的 pipeline。
• 可擴展的 Pipeline 部署 : 可於本機執行 pipeline，或輕鬆擴展至雲端及叢集環境。
• 增量式 Pipeline 執行 : 僅重新執行已變動的 pipeline 元件，優化開發速度。

常見問題