Moondream

Что такое Moondream?

Moondream — это семейство моделей языка зрения (VLMs) с открытым исходным кодом, разработанное для мощного и эффективного визуального рассуждения. Платформа предлагает три варианта моделей: Moondream 3 Preview (9B MoE с 2B активными параметрами), Moondream 2 (2B Dense) и Moondream 0.5B (цель дистилляции для пограничных устройств). В отличие от облачных VLMs, Moondream работает локально на CPU, GPU и пограничных устройствах, включая Raspberry Pi, Jetson и различное оборудование NVIDIA. Платформа включает четыре интегрированных продукта: Open Models для коммерческого использования, Lens для тонкой настройки с API-based RL и SFT, Photon как механизм вывода и Moondream Cloud для размещенного вывода.

Ключевые функции

• Несколько вариантов моделей

  Три размера моделей от 0,5B до 9B параметров: Moondream 3 Preview с архитектурой смеси экспертов, Moondream 2 как основная производственная модель и 0,5B оптимизирована для ограниченного оборудования на краю сети.

• Встроенные возможности зрения

  Встроенные возможности, специфичные для зрения, включая обнаружение объектов, указание и подсчет, ответы на визуальные вопросы и создание подписей к изображениям с обоснованным визуальным рассуждением.

• Универсальное развертывание

  Работает везде, от пограничных устройств (Jetson AGX Orin, Raspberry Pi) до облачных серверов (H100, A100) с одной моделью и API на 8 уровнях оборудования.

• Механизм вывода Photon

  Вручную настроенный механизм вывода, обеспечивающий примерно в 2 раза более быструю производительность, чем vLLM на H100, с временем отклика менее 500 мс для принятия решений в реальном времени.

• API тонкой настройки Lens

  Простая тонкая настройка на основе API, поддерживающая обучение с подкреплением и контролируемую тонкую настройку, достигающая драматического улучшения точности всего с 20 помеченными изображениями.

• Открытые веса для коммерческого использования

  Все модели выпущены под лицензией Apache-2.0 с открытыми весами, обеспечивающие бесплатное коммерческое использование и более 5 миллионов загрузок в месяц.

Варианты использования

• Промышленный контроль качества : Обнаруживайте неправильно ориентированные коробки, открытые холодильники или производственные дефекты на производственных линиях с помощью обнаружения объектов в реальном времени и визуального рассуждения.
• Ответы на визуальные вопросы : Ответьте на вопросы об изображениях, такие как «одежда на веревке?», «есть ли посылка на крыльце?» или «я забыл закрыть холодильник?» для автоматизации дома и бизнеса.
• Автоматическое создание подписей : Создавайте описательные подписи к изображениям для создания альтернативного текста, поиска изображение-текст, описания каталога и модерации контента по низкой цене (0,06 доллара за 1000 изображений).
• Приложения AI на краю сети : Развертывайте AI для зрения на устройствах с ограниченными ресурсами, таких как Raspberry Pi 5, Jetson AGX Orin или мобильные платформы, для автономного компьютерного зрения с низкой задержкой.
• Пользовательская тонкая настройка модели : Адаптируйте Moondream к конкретным вариантам использования с помощью данных, специфичных для домена, используя API Lens, достигая производственной точности без инфраструктуры команды ML.

Часто задаваемые вопросы