產品概覽
Ploomber 是什麼?
Ploomber 讓資料科學與機器學習 pipeline 的開發與部署變得簡單,協助使用者將 script、notebook 或 function 轉換為易於維護的 pipeline。它解決了 notebook 重構的常見問題,讓團隊可於 Jupyter notebook 原型設計後,直接部署而不中斷工作流程。Ploomber 支援 Python、SQL 及 notebook 任務,能追蹤程式碼變動以最佳化執行,並可部署於多種平台(如 Kubernetes 及雲端環境)。
主要功能
模組化 Pipeline 建構
將多個 script、notebook 或 function 組合成具有明確任務相依性與輸出的 pipeline。
無縫 Jupyter 整合
可於 Jupyter notebook 或任何編輯器中互動式開發,完成後無需重寫程式碼即可部署 pipeline。
增量式執行
自動快取結果,僅重新執行有原始碼變動的任務,大幅加速開發流程。
多環境部署
可於本地端或分散式系統(如 Kubernetes、Airflow、AWS Batch、SLURM)部署 pipeline,無需修改任何程式碼。
舊有 Notebook 重構
自動將龐大的 notebook 轉換為模組化、易於維護的 pipeline。
多元任務支援
同一個 pipeline 可同時支援 Python function、script、notebook 及 SQL script。
使用案例
- 資料科學流程自動化 : 以模組化、可重複使用的元件,簡化資料處理與模型訓練 pipeline。
- 協作式機器學習開發 : 讓團隊成員可協作原型設計、共享與部署 pipeline,且不會破壞原有程式碼。
- 舊有 Notebook 現代化 : 將現有 Jupyter notebook 轉換為可量產、易維護的 pipeline。
- 可擴展的 Pipeline 部署 : 可於本機執行 pipeline,或輕鬆擴展至雲端及叢集環境。
- 增量式 Pipeline 執行 : 僅重新執行已變動的 pipeline 元件,優化開發速度。
常見問題
Ploomber 的替代方案
DAGWorks
一個使用 Hamilton 增強資料和 ML 管道的開發、可觀測性和管理的平台,實現高效、模組化和可維護的工作流程。
MongoDB
領先的文件型 NoSQL 資料庫,專為擴展性、彈性與即時分析而設計。
Eigent
開源桌面多Agent工作隊伍,透過瀏覽器和桌面應用控制自動化真實工作。
C3 AI
全方位企業AI平台,提供預建與可自訂應用,協助產業數位轉型。
Dagster
現代化、開源的資料協作平台,專為建置、執行與觀察資料管道而設計,並整合血緣追蹤與觀測性。
Zerve
專為資料科學家建構的Agent開發環境,透過自然語言互動和完全的IDE控制來探索、測試和交付工作流程。
Open Interpreter
一款開源 AI 工具,透過類 ChatGPT 終端機介面,在本機執行程式碼,讓你能以自然語言控制電腦。
Rerun
用於記錄、視覺化和分析具有時間感知數據模型的多模態空間和具身數據的開源平台。

