SAM 3 概念分割：一句文本提示抠出图中所有目标，视频追踪开箱即用

SAM 3 概念分割一句文本提示抠出图中所有目标视频追踪开箱即用【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3做商品检索时用户输入红色卡车你需要把画面里每一辆红色卡车都抠出来而不是返回一个模糊的框。SAM 3Segment Anything Model 3把这件事做成了一个统一模型给一句文本或者一个点、框、掩码它就输出掩码、边界框和置信度同一套接口还能直接跑视频追踪。它到底能做什么从一句短语到每帧掩码把整条流水线拉直看输入只有一样东西一段短语或一个视觉提示。共享视觉编码 → 图像被切成 14px patch经 32 层 ViT 主干带 RoPE 位置编码与窗口注意力变成多尺度特征。文本条件检测 → DETR 风格的解码器直接消费文本、几何与图像示例逐个生成目标实例不依赖外置检测器。掩码输出 → 每个实例同时给出像素级掩码、边界框与得分。时序追踪 → 换到视频输入跟踪器复用同一份视觉特征逐帧把检测出的实例延续下去支持点数微调。背后最关键的3个技术决策 检测器与跟踪器解耦共享一个编码器。一个问题分割和追踪各自都有独立任务目标合在一个模块里会互相拖累。SAM 3 把两者拆成独立模块但共享同一个视觉编码器最小化任务干扰也让两边都能随数据独立扩展。全模型 848M 参数。presence token 区分长得像的提示。一个问题白色球衣的球员和红色球衣的球员这种近似短语传统结构容易混淆。解法是在解码器里加入 presence 输出先判断目标是否存在再与类别概率相乘形成最终得分专治这类细粒度文本歧义。多目标联合跟踪提速约 7 倍。一个问题SAM 3 原始视频流水线逐个目标独立处理耗时随目标数线性增长。SAM 3.1 的 Object Multiplex 把对象分组进固定容量的桶联合推理消除冗余计算。实测单张 H100 上 128 个目标提速约 7 倍MOSEv2 的 JḞ 还有 2.0 的提升。支撑能力的数据底座SA-Co 与 4M 自动标注SAM 3 的效果建立在一套自动数据引擎上它已自动标注了 400 万 独立概念构成目前规模最大的高质量开放词汇分割数据集。对外公开的评测集 SA-Co 含 27 万个独立概念比现有基准多出 50 倍以上。组成规模特点SA-Co/Gold7 个子集每个数据点由 3 名标注者独立多审可测人类一致性上限SA-Co/Silver10 个子集覆盖食物、艺术、机器人、驾驶等领域单真值SA-Co/VEval视频基准覆盖 SA-V、YT-Temporal-1B、SmartGlasses标注分两档Gold 走人工多审保证高精度并给出人类一致性上限Silver 用模型辅助生成撑大覆盖面。数据里还刻意保留负样本——短语在画面中不存在时就标空掩码逼着模型学会说不。效果上SAM 3 在 SA-Co/Gold 上 cgF1 达 54.1Gemini 2.5 为 13.0OWLv2 为 24.6。clone 之后第一步做什么 git clone https://gitcode.com/gh_mirrors/sam/sam3 cd sam3 pip install -e .[notebooks] jupyter notebook examples/sam3_image_predictor_example.ipynb三行之后就能在浏览器里看文本抠图效果。视频流水线直接打开 examples/sam3_video_predictor_example.ipynb复杂短语、多目标场景用 examples/sam3_agent.ipynb。完整安装步骤在 README.md微调与训练配置见 sam3/train/。当前能做什么 还差什么SAM 3 已在 SA-Co 上达到人类性能的 75-80%文本提示分割可直接用于生产视频任务里跟踪器对长遮挡、密集目标的稳定性仍在打磨SA-V 上 SAM 3 的 cgF1 为 30.3人类为 53.1。跑起来需要 CUDA 12.6 以上的 GPU检查点需先在 Hugging Face 申请访问权限。Object Multiplex 已把 128 目标的联合跟踪提速约 7 倍后续版本大概率继续朝更长视频、更密集的并发目标推进。回到开头的红色卡车场景先跑一遍图像分割 notebook确认目标类型在你的数据里能稳定命中再把同一句提示喂给视频流水线做逐帧追踪。如果你的目标是复现评测直接打开 scripts/eval/gold/eval_sam3.py用 SA-Co 的 cgF1 给自己建模一个可对比的基线。【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考