Moondream

Moondream 是什麼？

Moondream是一個開源的Vision Language Models（VLMs）系列，專為強大高效的視覺推理而設計。該平台提供三種模型變體：Moondream 3 Preview（9B MoE，2B活躍參數）、Moondream 2（2B稠密）和Moondream 0.5B（邊緣裝置蒸餾目標）。與僅限雲端的VLMs不同，Moondream可在CPU、GPU和邊緣裝置上本地運行，包括Raspberry Pi、Jetson和各種NVIDIA硬體。該平台包含四個整合產品：用於商業使用的開放模型、用於API基礎RL和SFT微調的Lens、推理引擎Photon以及用於託管推理的Moondream Cloud。

主要功能

• 多種模型變體

  三種模型規格，參數從0.5B到9B：Moondream 3 Preview採用混合專家架構，Moondream 2作為生產級主力模型，0.5B版本針對受限的邊緣硬體優化。

• 原生視覺能力

  內置視覺特定功能，包括目標檢測、指向和計數、視覺問答以及具有接地視覺推理的影像標題生成。

• 通用部署

  可在從邊緣裝置（Jetson AGX Orin、Raspberry Pi）到雲端伺服器（H100、A100）的任何地方運行，跨8個硬體層級使用相同的模型和API。

• Photon推理引擎

  手工調優的推理引擎，在H100上的效能比vLLM快約2倍，回應時間低於500毫秒，支援即時決策。

• Lens微調API

  簡單的基於API的微調，支援強化學習和監督微調，僅需20張標註影像即可實現顯著的準確度提升。

• 開放權重商用

  所有模型在Apache-2.0許可證下發佈，開放權重，支援免費商業使用，月下載量超過500萬。

使用案例

• 工業品質檢測 : 在生產線上檢測方向錯誤的箱子、打開的冰箱或生產缺陷，使用即時目標檢測和視覺推理。
• 視覺問答 : 回答關於影像的問題，如「衣服在晾衣繩上嗎？」、「門廊上有包裹嗎？」或「我是否忘記關冰箱？」，用於家庭和業務自動化。
• 自動標題生成 : 為影像生成描述性標題，用於替代文字生成、圖文檢索、目錄描述和內容審核，成本低廉（每1000張影像僅需0.06美元）。
• 邊緣AI應用 : 在資源受限的裝置上部署視覺AI，如Raspberry Pi 5、Jetson AGX Orin或行動平台，實現離線、低延遲的電腦視覺。
• 自訂模型微調 : 使用Lens API透過特定領域資料將Moondream適配到特定用例，無需ML團隊基礎設施即可實現生產級準確度。

常見問題