Moondream

Moondream이란 무엇인가요?

Moondream은 강력하고 효율적인 시각적 추론을 위해 설계된 오픈소스 Vision Language Models(VLMs) 제품군입니다. 플랫폼은 세 가지 모델 변형을 제공합니다: Moondream 3 Preview(9B MoE, 2B 활성 파라미터), Moondream 2(2B 밀집), 그리고 Moondream 0.5B(엣지 디바이스용 증류 대상). 클라우드 전용 VLMs와 달리 Moondream은 CPU, GPU 및 Raspberry Pi, Jetson, 다양한 NVIDIA 하드웨어를 포함한 엣지 디바이스에서 로컬로 실행됩니다. 플랫폼은 네 가지 통합 제품을 포함합니다: 상용 사용을 위한 Open Models, API 기반 RL 및 SFT를 위한 Lens, 추론 엔진인 Photon, 그리고 호스팅된 추론을 위한 Moondream Cloud.

주요 기능

• 다양한 모델 변형

  0.5B에서 9B 파라미터까지 세 가지 모델 크기: 혼합 전문가 아키텍처를 사용하는 Moondream 3 Preview, 프로덕션 주력 모델인 Moondream 2, 그리고 제한된 엣지 하드웨어에 최적화된 0.5B.

• 네이티브 비전 기능

  객체 감지, 포인팅 및 계산, 시각적 질문 답변, 그리고 기반 시각적 추론을 포함한 이미지 캡셔닝을 포함한 기본 제공 비전 특화 기능.

• 범용 배포

  엣지 디바이스(Jetson AGX Orin, Raspberry Pi)에서 클라우드 서버(H100, A100)까지 어디서나 실행되며, 8개의 하드웨어 계층에서 동일한 모델과 API를 사용합니다.

• Photon 추론 엔진

  손으로 조정된 추론 엔진으로 H100에서 vLLM보다 약 2배 빠른 성능을 제공하며, 실시간 의사결정을 위해 500ms 미만의 응답 시간을 제공합니다.

• Lens 미세 조정 API

  강화 학습 및 감독 미세 조정을 지원하는 간단한 API 기반 미세 조정으로, 단 20개의 레이블이 지정된 이미지로 극적인 정확도 개선을 달성합니다.

• 개방 가중치 상용화

  Apache-2.0 라이선스 하에 개방 가중치로 모든 모델을 출시하여 자유로운 상용 사용을 가능하게 하며, 월 500만 회 이상의 다운로드를 기록합니다.

사용 사례

• 산업 품질 검사 : 실시간 객체 감지 및 시각적 추론으로 생산 라인에서 방향이 잘못된 상자, 열린 냉장고 또는 생산 결함을 감지합니다.
• 시각적 질문 답변 : "세탁물이 빨래줄에 있나요?", "현관에 소포가 있나요?" 또는 "냉장고를 닫지 않았나요?"와 같은 이미지에 대한 질문에 답하여 가정 및 업무 자동화를 지원합니다.
• 자동 캡셔닝 : 대체 텍스트 생성, 이미지-텍스트 검색, 카탈로그 설명 및 콘텐츠 조정을 위해 이미지에 대한 설명 캡션을 생성하며, 비용이 저렴합니다(1,000개 이미지당 $0.06).
• 엣지 AI 애플리케이션 : Raspberry Pi 5, Jetson AGX Orin 또는 모바일 플랫폼과 같은 리소스 제한 디바이스에 비전 AI를 배포하여 오프라인, 저지연 컴퓨터 비전을 제공합니다.
• 사용자 정의 모델 미세 조정 : Lens API를 사용하여 도메인 특화 데이터로 Moondream을 특정 사용 사례에 맞게 조정하여 ML 팀 인프라 없이 프로덕션 수준의 정확도를 달성합니다.

자주 묻는 질문