Segment Anything Model (SAM)

Что такое Segment Anything Model (SAM)?

Segment Anything Model (SAM) — это передовая модель сегментации изображений, разработанная лабораторией Fundamental AI Research (FAIR) компании Meta AI. Обучена на крупнейшем на сегодняшний день датасете сегментации, включающем более 11 миллионов изображений и 1,1 миллиарда масок. SAM может генерировать точные маски сегментации по различным запросам: точкам, рамкам или тексту. Архитектура включает энкодер изображений, энкодер подсказок и легковесный декодер масок, что позволяет генерировать маски в реальном времени и достигать высокой zero-shot производительности на различных задачах сегментации без дополнительного обучения. SAM демократизирует сегментацию изображений, упрощая процессы аннотирования и поддерживая широкий спектр приложений — от медицинской визуализации до экологического мониторинга.

Ключевые функции

• Сегментация по запросу (Promptable Segmentation)

  Генерирует точные маски сегментации на основе гибких запросов, включая точки, ограничивающие рамки, грубые маски или текстовые подсказки.

• Архитектура Foundation Model

  Комбинирует трансформер-энкодер изображений, энкодер подсказок и легковесный декодер масок, оптимизированный для интерактивной сегментации в реальном времени.

• Массивный обучающий датасет

  Обучена на датасете SA-1B с более чем 1 миллиардом масок и 11 миллионами изображений, обеспечивая широкую генерализацию и zero-shot перенос.

• Zero-shot генерализация

  Эффективно сегментирует объекты в новых доменах и задачах без необходимости дополнительного обучения или дообучения.

• Открытый исходный код и расширяемость

  Выпущена под лицензией Apache 2.0, код, модели и датасет доступны для исследовательского и коммерческого использования.

• Производительность в реальном времени

  Эффективное декодирование масок позволяет генерировать маску примерно за 50 миллисекунд, поддерживая интерактивные приложения.

Варианты использования

• AI-помощь при аннотировании изображений : Ускоряет рабочие процессы разметки, автоматически создавая маски сегментации для помощи человеческим аннотаторам.
• Медицинская визуализация : Позволяет точно сегментировать анатомические структуры или поражения для поддержки диагностики и планирования лечения.
• Экологический и спутниковый мониторинг : Обеспечивает картографирование земных покрытий, реагирование на чрезвычайные ситуации и мониторинг климата с помощью точной сегментации спутниковых изображений.
• Дополненная реальность и визуальные эффекты : Поддерживает сегментацию объектов в реальном времени для AR-приложений и постпродакшн визуальных эффектов.
• Робототехника и автономные транспортные средства : Обеспечивает детальное понимание сцены за счет сегментации объектов для навигации и взаимодействия.

Часто задаваемые вопросы