Modal

Modal 是什麼？

Modal 是專為 AI、機器學習與資料團隊打造的雲端函式平台，讓你無需管理基礎設施即可執行高運算需求應用。提供快速、無伺服器的 Python 執行環境，具備自動擴展與 GPU 支援，協助開發者輕鬆部署推論端點、批次作業與排程任務。Modal 以直覺的 Python 介面定義容器環境、硬體需求與持久儲存，僅依實際運算時間收費。整合 Oracle Cloud Infrastructure，為大規模 AI 工作負載帶來高效能與成本優勢。

主要功能

• 無伺服器自動擴展

  可於數秒內自動將運算資源擴展至數百顆 GPU，或縮減至零，確保資源高效利用並節省成本。

• 高資源上限

  每個容器支援最高 64 顆 CPU、336 GB 記憶體，以及 8 顆 Nvidia H100 GPU，輕鬆執行高需求的 AI 與 ML 工作負載。

• 以 Python 為核心的開發體驗

  開發者可用 Python 撰寫與部署函式，基礎設施以程式碼定義，無需手動設定或 YAML 配置。

• 彈性部署選項

  函式可作為網頁端點、排程任務或批次處理執行，內建分散式運算支援。

• GPU 加速 AI 工作負載

  針對 AI 模型推論、微調與批次作業最佳化，GPU 容器啟動快速，並可無縫整合雲端強大 GPU。

• 按用量計費

  依實際 CPU、GPU 與記憶體每秒使用量計費，閒置不產生費用。

使用案例

• AI 模型推論與微調 : 以最少設定快速部署，於 GPU 上執行大規模模型推論或微調。
• 資料管線與批次處理 : 以自動擴展運算資源執行複雜資料流程、ETL 任務與大規模批次運算。
• 即時網頁應用 : 提供低延遲、支援即時 WebSocket 的 AI 網頁端點與 API。
• 排程任務與自動化 : 可部署類似 cron 的排程任務，進行例行資料處理或模型再訓練，無需管理基礎設施。
• 機器學習研究與實驗 : 即時取得可擴展運算與持久儲存，快速原型設計與迭代 ML 模型。

常見問題