Moondream

什么是Moondream？

Moondream是一个开源的Vision Language Models（VLMs）系列，专为强大高效的视觉推理而设计。该平台提供三种模型变体：Moondream 3 Preview（9B MoE，2B活跃参数）、Moondream 2（2B稠密）和Moondream 0.5B（边缘设备蒸馏目标）。与仅限云端的VLMs不同，Moondream可在CPU、GPU和边缘设备上本地运行，包括Raspberry Pi、Jetson和各种NVIDIA硬件。该平台包含四个集成产品：用于商业使用的开放模型、用于API基础RL和SFT微调的Lens、推理引擎Photon以及用于托管推理的Moondream Cloud。

主要功能

• 多种模型变体

  三种模型规格，参数从0.5B到9B：Moondream 3 Preview采用混合专家架构，Moondream 2作为生产级主力模型，0.5B版本针对受限的边缘硬件优化。

• 原生视觉能力

  内置视觉特定功能，包括目标检测、指向和计数、视觉问答以及具有接地视觉推理的图像标题生成。

• 通用部署

  可在从边缘设备（Jetson AGX Orin、Raspberry Pi）到云服务器（H100、A100）的任何地方运行，跨8个硬件层级使用相同的模型和API。

• Photon推理引擎

  手工调优的推理引擎，在H100上的性能比vLLM快约2倍，响应时间低于500毫秒，支持实时决策。

• Lens微调API

  简单的基于API的微调，支持强化学习和监督微调，仅需20张标注图像即可实现显著的准确度提升。

• 开放权重商用

  所有模型在Apache-2.0许可证下发布，开放权重，支持免费商业使用，月下载量超过500万。

使用场景

• 工业质量检测 : 在生产线上检测方向错误的箱子、打开的冰箱或生产缺陷，使用实时目标检测和视觉推理。
• 视觉问答 : 回答关于图像的问题，如'衣服在晾衣绳上吗？'、'门廊上有包裹吗？'或'我是否忘记关冰箱？'，用于家庭和业务自动化。
• 自动标题生成 : 为图像生成描述性标题，用于替代文本生成、图文检索、目录描述和内容审核，成本低廉（每1000张图像仅需0.06美元）。
• 边缘AI应用 : 在资源受限的设备上部署视觉AI，如Raspberry Pi 5、Jetson AGX Orin或移动平台，实现离线、低延迟的计算机视觉。
• 自定义模型微调 : 使用Lens API通过特定领域数据将Moondream适配到特定用例，无需ML团队基础设施即可实现生产级准确度。

常见问题