Moondream

Moondreamとは？

Moondreamは、強力で効率的な視覚的推論のために設計されたオープンソースのVision Language Models（VLMs）ファミリーです。プラットフォームは3つのモデルバリエーションを提供します：Moondream 3 Preview（9B MoE、2B活性パラメータ）、Moondream 2（2B密集）、およびMoondream 0.5B（エッジデバイス用蒸留ターゲット）。クラウド専用のVLMsとは異なり、Moondreamはローカルで実行できます。CPU、GPU、およびRaspberry Pi、Jetson、さまざまなNVIDIAハードウェアを含むエッジデバイス上で。プラットフォームには4つの統合製品が含まれます：商用利用向けのOpen Models、APIベースのRLおよびSFTファインチューニング向けのLens、推論エンジンであるPhoton、およびホストされた推論向けのMoondream Cloud。

主な機能

• 複数のモデルバリエーション

  0.5Bから9Bパラメータまでの3つのモデルサイズ：混合専門家アーキテクチャを採用したMoondream 3 Preview、本番環境向けの主力モデルであるMoondream 2、および制限されたエッジハードウェア向けに最適化された0.5B。

• ネイティブビジョン機能

  物体検出、ポインティングとカウント、視覚的質問応答、および接地された視覚的推論を備えた画像キャプショニングを含む、組み込みのビジョン固有の機能。

• ユニバーサルデプロイメント

  エッジデバイス（Jetson AGX Orin、Raspberry Pi）からクラウドサーバー（H100、A100）まで、8つのハードウェア層にわたって同じモデルとAPIを使用して、どこでも実行できます。

• Photon推論エンジン

  手動で調整された推論エンジンで、H100上でvLLMより約2倍高速なパフォーマンスを提供し、リアルタイム意思決定のために500ms未満の応答時間を実現します。

• LensファインチューニングAPI

  強化学習と教師あり学習をサポートするシンプルなAPIベースのファインチューニングで、わずか20個のラベル付き画像で劇的な精度向上を実現します。

• オープンウェイト商用利用

  すべてのモデルはApache-2.0ライセンスの下でオープンウェイトで公開され、自由な商用利用が可能で、月間500万以上のダウンロードを記録しています。

ユースケース

• 産業品質検査 : リアルタイム物体検出と視覚的推論を使用して、製造ラインで方向が間違ったボックス、開いた冷蔵庫、または生産欠陥を検出します。
• 視覚的質問応答 : 「洗濯物は物干しにありますか？」、「ポーチに荷物がありますか？」、または「冷蔵庫を閉じ忘れましたか？」などの画像に関する質問に答えて、家庭およびビジネスの自動化をサポートします。
• 自動キャプショニング : 代替テキスト生成、画像テキスト検索、カタログ説明、およびコンテンツモデレーション用に画像の説明的なキャプションを生成し、低コスト（1,000画像あたり$0.06）で実現します。
• エッジAIアプリケーション : Raspberry Pi 5、Jetson AGX Orin、またはモバイルプラットフォームなどのリソース制限デバイスにビジョンAIをデプロイして、オフライン、低遅延のコンピュータビジョンを実現します。
• カスタムモデルファインチューニング : Lens APIを使用してドメイン固有のデータでMoondreamを特定のユースケースに適応させ、MLチームのインフラストラクチャなしで本番レベルの精度を達成します。

よくある質問