T-Rex2完整指南：文本-视觉提示融合实现开放集目标检测，无需逐类训练

T-Rex2完整指南文本-视觉提示融合实现开放集目标检测无需逐类训练【免费下载链接】T-Rex[ECCV2024] API code for T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy项目地址: https://gitcode.com/GitHub_Trending/tre/T-RexT-Rex2 是一个开源的开放集目标检测项目ECCV 2024它把文本提示与视觉提示融合进同一个模型让你不用训练新模型、不用标注数据集就能检测和计数任意对象。无论是数一下广场上有多少只鸽子还是找出这张血涂片里的红细胞都可以零样本完成。本文按它能解决什么问题、原理、用法、实际效果和适用人群的顺序讲清楚。传统目标检测为何卡在封闭集传统检测器的前提是类别清单要事先定死。训练完成后模型只认清单里的类别想新增一类就得重新准备数据、标注、再训练一轮。对仓库盘点、农业计数、医学影像统计这类场景新类别频繁出现反复训练的成本太高。T-Rex2 的思路反过来不告诉模型要什么类别而是让用户指给它看。你在图像上框一个目标、点一个位置或者输入一句文字描述模型就会找出图中所有同类物体。这就是开放集检测open-set detection的核心玩法也是下面三种使用方式的来源。文本-视觉提示融合T-Rex2 如何认出任意物体从架构图看两条提示走不同通路文本提示经 Text Encoder框或点这类视觉提示经位置编码图像本身经 Image Encoder。关键是图中右下的对比对齐Contrastive Alignment模型计算视觉提示与文本提示之间的相似度矩阵把两者融合后一起送入 DETR 解码器输出检测框。打个比方视觉提示像指着某样东西说就它文本提示像描述穿红衣服那个。两条线索互相佐证比单用一种方式更容易锁定目标。这种协同正是论文标题里 Text-Visual Prompt Synergy 的含义也是它零样本泛化能力的来源。 三种提示用法任选交互式视觉提示指一个全图同类都框出在图像上框住一只鸽子模型就把所有鸽子都框出来——空中的、地上的、远处的甚至能顺便区分出行人。这种方式适合看到想数什么就框什么的场景也是最直观的上手入口。通用视觉提示参考图标一次其他图直接检测先在一张参考图上框住目标物体再把另一张图交给模型它会在新图里检测同类物体。不需要重新说明类别就能做到标一次到处检。自定义嵌入把一类物体存成可复用文件用少量参考图像模型可以为一类物体生成一个 safetensors 格式的视觉嵌入文件。文件保存下来后对任何新图都能复用适合每天数这一类零件这种目标固定、图像不断变化的批量任务。 三步安装并跑通演示这个仓库是 T-Rex2 的官方 API 客户端核心封装在 trex/model_wrapper.py。你需要先申请一个 API token申请方式见 README 说明然后三步走通git clone https://gitcode.com/GitHub_Trending/tre/T-Rex cd T-Rex pip install dds-cloudapi-sdk0.1.1 pip install -v -e . python demo_examples/interactive_inference.py --token your_token运行完成后检测结果图会写进demo_vis/目录。也可以在代码里直接调用核心调用不长from trex import TRex2APIWrapper trex2 TRex2APIWrapper(your_api_token) result, emb trex2.visual_prompt_inference( target_imagetarget.jpg, prompt[{image: ref.jpg, interactions: [{type: rect, category_id: 1, rect: [120, 80, 300, 220]}]}], )返回的result含scores、labels、boxes三项框的格式为 [xmin, ymin, xmax, ymax]可直接用于可视化和统计。如果想要可鼠标圈画的界面运行python gradio_demo.py --trex2_api_token your_token就能得到下文那种本地 Gradio 页面。 实际效果从数鸟到数细胞在官方演示里一张上千人的密集场景图一次检出了 492 个框大部分准确密集区域仍有少量重复或遗漏医学影像场景下对血涂片打一个点提示本地 Gradio 界面会框出每个细胞并给出计数 180 的结果也要说实话地提两个限制一是这个仓库是 API 客户端代码模型跑在官方云端不能离线本地推理二是极密集、高度重叠的场景仍会有漏检和重复框可以在 Gradio 页面用 Visual Prompt Threshold 阈值调节来取舍精度。T-Rex2 适合哪些人研究者与学生论文发表于 ECCV 2024代码与示例齐全适合阅读并复现开放集检测方案需要计数的行业用户制造、农业、零售、物流里的数同类物体任务直接用自定义嵌入方式即可数据标注人员标一张参考图就能快速扩展到整批图像能明显减少人工工作量。快速上手建议先跑 demo_examples/ 里的interactive_inference.py看效果再决定用哪种提示方式许可证见 LICENSEIDEA License 1.0商用前请先确认条款。【免费下载链接】T-Rex[ECCV2024] API code for T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy项目地址: https://gitcode.com/GitHub_Trending/tre/T-Rex创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考