Segment Anything (SAM)

Segment Anything（SAM）是什么

SAM 是 Meta AI（FAIR）发布的可提示图像分割基础模型。给定点、框或掩码等提示，它能输出高质量的物体掩码；也可以不提供任何提示，自动生成整张图中所有物体的分割结果。模型在约 1100 万张图像、11 亿个掩码上训练，零样本表现突出。

官方已推出支持图像与视频的 SAM 2，新项目建议优先评估 SAM 2；本仓库仍是理解 SAM 原理与快速上手的重要参考。

核心能力

• 提示式分割：用点或框指定目标，返回对应掩码
• 全图自动分割：一次性输出图中所有物体掩码
• 多规格模型：vit_b、vit_l、vit_h 三种骨干，精度与开销递增
• ONNX 导出：轻量掩码解码器可导出，在浏览器等 ONNX Runtime 环境运行

快速上手示意

安装依赖（需 Python 3.8+、PyTorch 1.7+、TorchVision 0.8+，建议 CUDA 环境）：

pip install git+https://github.com/facebookresearch/segment-anything.git
pip install opencv-python pycocotools matplotlib onnxruntime onnx

下载对应权重后，用提示生成掩码：

from segment_anything import SamPredictor, sam_model_registry

sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h_4b8939.pth")
predictor = SamPredictor(sam)
predictor.set_image(image)
masks, scores, logits = predictor.predict(point_coords=..., point_labels=...)

自动分割整图：

from segment_anything import SamAutomaticMaskGenerator

mask_generator = SamAutomaticMaskGenerator(sam)
masks = mask_generator.generate(image)

命令行批量处理：

python scripts/amg.py --checkpoint sam_vit_h_4b8939.pth --model-type vit_h --input ./images --output ./out

仓库结构

• segment_anything/：模型与推理核心代码
• notebooks/：提示分割、自动分割、ONNX 示例
• scripts/：自动掩码生成与 ONNX 导出脚本
• demo/：基于 React + ONNX 的浏览器端演示

使用建议

1. 先用 vit_b 做流程验证，再按精度需求切换到更大模型；
2. 自动分割参数（如点采样密度、阈值）对结果影响明显，需按场景调参；
3. SAM 只输出掩码，不含类别语义，通常需配合分类模型或人工标注使用；
4. 商用前请确认 SA-1B 数据集的研究许可条款。