Moondream

¿Qué es Moondream?

Moondream es una familia de código abierto de modelos de lenguaje de visión (VLMs) diseñados para razonamiento visual poderoso y eficiente. La plataforma ofrece tres variantes de modelo: Moondream 3 Preview (9B MoE con 2B parámetros activos), Moondream 2 (2B Dense) y Moondream 0.5B (objetivo de destilación para dispositivos perimetrales). A diferencia de los VLMs solo en la nube, Moondream se ejecuta localmente en CPU, GPU y dispositivos perimetrales, incluidos Raspberry Pi, Jetson y varios hardware NVIDIA. La plataforma incluye cuatro productos integrados: Open Models para uso comercial, Lens para ajuste fino con RL y SFT basados en API, Photon como motor de inferencia y Moondream Cloud para inferencia alojada.

Características Principales

• Variantes de modelo múltiples

  Tres tamaños de modelo de 0,5B a 9B parámetros: Moondream 3 Preview con arquitectura de mezcla de expertos, Moondream 2 como modelo principal de producción, y 0,5B optimizado para hardware perimetral limitado.

• Habilidades de visión nativas

  Capacidades integradas específicas de visión que incluyen detección de objetos, señalización y conteo, respuesta a preguntas visuales y generación de títulos de imágenes con razonamiento visual fundamentado.

• Implementación universal

  Se ejecuta en cualquier lugar, desde dispositivos perimetrales (Jetson AGX Orin, Raspberry Pi) hasta servidores en la nube (H100, A100) con el mismo modelo y API en 8 niveles de hardware.

• Motor de inferencia Photon

  Motor de inferencia ajustado manualmente que ofrece un rendimiento aproximadamente 2 veces más rápido que vLLM en H100, con tiempos de respuesta inferiores a 500 ms para decisiones en tiempo real.

• API de ajuste fino Lens

  Ajuste fino simple basado en API que admite aprendizaje por refuerzo y ajuste fino supervisado, logrando mejoras dramáticas de precisión con tan solo 20 imágenes etiquetadas.

• Pesos abiertos para uso comercial

  Todos los modelos publicados bajo licencia Apache-2.0 con pesos abiertos, permitiendo uso comercial gratuito y más de 5 millones de descargas mensuales.

Casos de Uso

• Inspección de calidad industrial : Detecte cajas mal orientadas, refrigeradores abiertos o defectos de producción en líneas de fabricación con detección de objetos en tiempo real y razonamiento visual.
• Respuesta a preguntas visuales : Responda preguntas sobre imágenes como "¿hay ropa en la cuerda?", "¿hay un paquete en el porche?" o "¿dejé el refrigerador abierto?" para automatización del hogar y negocios.
• Generación automática de títulos : Genere títulos descriptivos para imágenes para generación de texto alternativo, recuperación de imagen-texto, descripciones de catálogos y moderación de contenido a bajo costo ($0,06 por 1.000 imágenes).
• Aplicaciones de IA perimetral : Implemente IA de visión en dispositivos con recursos limitados como Raspberry Pi 5, Jetson AGX Orin o plataformas móviles para visión por computadora sin conexión y baja latencia.
• Ajuste fino de modelo personalizado : Adapte Moondream a casos de uso específicos con datos específicos del dominio usando la API Lens, logrando precisión de nivel de producción sin infraestructura de equipo ML.

Preguntas Frecuentes