Moondream

Qu'est-ce que Moondream ?

Moondream est une famille open-source de modèles de langage de vision (VLMs) conçue pour un raisonnement visuel puissant et efficace. La plateforme offre trois variantes de modèles : Moondream 3 Preview (9B MoE avec 2B paramètres actifs), Moondream 2 (2B Dense), et Moondream 0.5B (cible de distillation pour appareils en périphérie). Contrairement aux VLMs exclusifs au cloud, Moondream s'exécute localement sur les CPU, GPU et appareils en périphérie, notamment Raspberry Pi, Jetson et divers matériels NVIDIA. La plateforme comprend quatre produits intégrés : Open Models pour l'utilisation commerciale, Lens pour le réglage fin avec RL et SFT basés sur API, Photon en tant que moteur d'inférence, et Moondream Cloud pour l'inférence hébergée.

Fonctionnalités clés

• Variantes de modèles multiples

  Trois tailles de modèles de 0,5B à 9B paramètres : Moondream 3 Preview avec architecture de mélange d'experts, Moondream 2 comme modèle principal de production, et 0,5B optimisé pour le matériel informatique en périphérie contraint.

• Compétences visuelles natives

  Capacités intégrées spécifiques à la vision, notamment la détection d'objets, le pointage et le comptage, la réponse à des questions visuelles, et la génération de légendes d'images avec raisonnement visuel ancré.

• Déploiement universel

  S'exécute n'importe où, des appareils en périphérie (Jetson AGX Orin, Raspberry Pi) aux serveurs cloud (H100, A100) avec le même modèle et les mêmes API sur 8 niveaux de matériel.

• Moteur d'inférence Photon

  Moteur d'inférence réglé à la main offrant une performance environ 2 fois plus rapide que vLLM sur H100, avec des temps de réponse inférieurs à 500 ms pour les décisions en temps réel.

• API de réglage fin Lens

  API simple basée sur le réglage fin supportant l'apprentissage par renforcement et le réglage fin supervisé, réalisant des améliorations dramatiques de précision avec aussi peu que 20 images étiquetées.

• Poids ouverts pour usage commercial

  Tous les modèles publiés sous licence Apache-2.0 avec poids ouverts, permettant l'utilisation commerciale gratuite et plus de 5 millions de téléchargements mensuels.

Cas d'utilisation

• Inspection de qualité industrielle : Détectez les boîtes mal orientées, les réfrigérateurs ouverts ou les défauts de production sur les lignes de fabrication avec détection d'objets en temps réel et raisonnement visuel.
• Réponse à des questions visuelles : Répondez à des questions sur les images comme « les vêtements sont-ils sur la corde à linge ? », « y a-t-il un colis sur le porche ? » ou « ai-je oublié de fermer le réfrigérateur ? » pour l'automatisation domestique et professionnelle.
• Légende automatique : Générez des légendes descriptives pour les images pour la génération de texte alternatif, la récupération image-texte, les descriptions de catalogues et la modération de contenu à faible coût (0,06 $ pour 1 000 images).
• Applications d'IA en périphérie : Déployez l'IA de vision sur des appareils aux ressources limitées comme Raspberry Pi 5, Jetson AGX Orin ou des plates-formes mobiles pour la vision par ordinateur hors ligne et à faible latence.
• Réglage fin de modèle personnalisé : Adaptez Moondream à des cas d'usage spécifiques avec des données spécifiques au domaine en utilisant l'API Lens, réalisant une précision de niveau production sans infrastructure d'équipe ML.

FAQ