产品概览
什么是Ploomber？
Ploomber 旨在简化数据科学与机器学习 pipeline 的开发与部署，帮助用户将脚本、notebook 或函数转化为易维护的 pipeline。它解决了 notebook 重构的常见难题，让团队可在 Jupyter notebook 中原型开发并顺利部署，无需中断工作流。Ploomber 支持 Python、SQL 及 notebook 任务，自动追踪代码变更以优化执行，并可部署于 Kubernetes 及各类云平台。
主要功能
模块化 Pipeline 构建
将脚本、notebook 或函数集合转化为具备明确任务依赖和输出的 pipeline。
无缝 Jupyter 集成
可在 Jupyter notebook 或任意编辑器中交互式开发，无需重写代码即可部署 pipeline。
增量式执行
自动缓存结果，仅重新执行源码发生变化的任务，加快开发周期。
多环境部署
可在本地或分布式系统（如 Kubernetes、Airflow、AWS Batch、SLURM）上部署 pipeline，无需修改代码。
遗留 Notebook 重构
自动将大型 notebook 转换为模块化、易维护的 pipeline。
丰富的任务类型支持
在同一个 pipeline 中支持 Python 函数、脚本、notebook 及 SQL 脚本。
使用场景
- 数据科学流程自动化 : 通过模块化、可复用组件，简化数据处理与模型训练 pipeline 的构建。
- 协作式机器学习开发 : 支持团队成员协作原型开发、共享与部署 pipeline，保障代码不被破坏。
- 遗留 Notebook 现代化 : 将现有 Jupyter notebook 转换为生产可用的 pipeline，提升可维护性。
- 可扩展的 Pipeline 部署 : 可在本地运行 pipeline，或轻松扩展至云端和集群环境。
- 增量式 Pipeline 执行 : 仅重新运行变更部分，优化开发效率。
常见问题
Ploomber的替代方案
DAGWorks
一个使用 Hamilton 增强数据和 ML 流水线的开发、可观测性和管理的平台，实现高效、模块化和可维护的工作流。
MongoDB
领先的面向文档的 NoSQL 数据库，专为可扩展性、灵活性和实时分析而设计。
Eigent
开源桌面多Agent工作队伍，通过浏览器和桌面应用控制自动化真实工作。
C3 AI
面向行业数字化转型的全方位企业级AI平台，提供预构建及可定制应用。
Dagster
一款现代化、开源的数据编排器，专为构建、运行和观测具备血缘追踪与可观测性的数据pipeline而设计。
Zerve
专为数据科学家构建的Agent开发环境，通过自然语言交互和完全的IDE控制来探索、测试和交付工作流。
Open Interpreter
一款开源AI工具，通过类似ChatGPT的终端界面本地执行代码，实现自然语言控制计算机。
Rerun
用于记录、可视化和分析具有时间感知数据模型的多模态空间和具身数据的开源平台。