Segment Anything Model (SAM)

什么是Segment Anything Model (SAM)？

Segment Anything Model (SAM) 是由Meta AI基础人工智能研究（FAIR）实验室开发的前沿图像分割模型。该模型在迄今为止最大规模的分割数据集上训练，包含超过1100万张图片和11亿个掩码，能够根据点、框或文本等多种提示生成精确的分割掩码。其架构包括图像编码器、提示编码器和轻量级掩码解码器，实现了实时掩码生成和在多样分割任务中的强大零样本表现，无需额外训练。SAM通过简化标注流程，支持从医学影像到环境监测等多种应用，推动图像分割普及。

主要功能

• 可提示分割

  根据灵活的提示（包括点、边界框、粗略掩码或文本输入）生成精确的分割掩码。

• 基础模型架构

  结合了基于Transformer的图像编码器、提示编码器和针对实时交互分割优化的轻量级掩码解码器。

• 海量训练数据集

  在SA-1B数据集上训练，包含超过11百万张图片和10亿个掩码，实现了广泛泛化和零样本迁移能力。

• 零样本泛化能力

  能够在无需针对任务进行再训练或微调的情况下，出色地分割全新领域和任务中的目标。

• 开源且可扩展

  在Apache 2.0协议下发布，代码、模型和数据集均可用于科研和商业用途。

• 实时性能

  高效的掩码解码使掩码生成约需50毫秒，支持交互式应用。

使用场景

• AI辅助图像标注 : 通过自动生成分割掩码辅助人工标注员，加快标注流程。
• 医学影像 : 支持对解剖结构或病变的精确分割，辅助诊断和治疗规划。
• 环境与卫星影像 : 通过对卫星图像的精准分割，促进土地覆盖制图、灾害响应和气候监测。
• 增强现实与视觉特效 : 支持增强现实应用和后期视觉特效的实时目标分割。
• 机器人与自动驾驶车辆 : 通过对目标的分割，为导航和交互提供详细的场景理解。

常见问题