★ FEATURED ARTICLE 人工智能AI 技能计算机视觉OCRGUI 自动化大模型DeepSeek【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/Anionex/agent-vision-toolkit点击查看免费下载agent-vision-toolkit 是一款为纯文本大模型设计的 Agent 视觉工具箱支持多图理解、图片问答、长截图 OCR、前端 UI 还原和 GUI 自动化。它最大的亮点是一句话安装把一段提示词发给你的 Agent它就会自动完成视觉工具箱、skill 和可选无缝接入层的安装与配置全程无需手动改环境。这篇教程带你 3 分钟走通完整流程。先搞清楚它能解决什么问题如果你在用 DeepSeek 这类纯文本模型驱动 coding Agent大概率遇到过这种场景粘贴一张截图给 Agent被告知模型不支持图片输入直接报错想让 Agent 照着设计稿还原 UI、读长截图、看界面排 bug统统做不了。agent-vision-toolkit 的思路是视觉能力不一定长在模型里也可以长在工具链里。它提供两部分内容视觉工具 CLIs skillglance看图问答/OCR、ground目标定位、detect元素盘点、trace矢量描摹、crop区域裁图外加一个教 Agent 什么时候用哪个工具 的 vision-skills 技能。任何能调用 shell 的 Agent 都能用无缝接入层可选升级透明本地代理 单文件原生插件让直接粘贴图片和Agent 内置看图工具都能正常工作详见 AGENT_INSTALL.md。一句话安装把这段提示词发给你的 Agent这是最简单的方式官方称之为 one-sentence install。直接对你的 Agent 说根据 https://gitcode.com/Anionex/agent-vision-toolkit 的仓库指引在本地安装视觉工具箱和 skill。如果视觉 API 尚未配置请按当前系统找到配置文件并引导我填写VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。如果你还想要无缝接入层粘贴图片直接可用改为发送完整阅读 agent-vision-toolkit 仓库的 AGENT_INSTALL.md根据我们当前使用的 agent 应用安装适用的视觉代理或原生 extension/plugin。如果视觉 API 尚未配置请按当前系统找到配置文件并引导我填写VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。你只需要准备一样东西一个支持 OpenAI Chat Completions、OpenAI Responses 或 Anthropic Messages 协议的多模态 API以及它的 base URL、API key 和模型名。剩下的Agent 会引导你一步步完成。安装过程在做什么3 步手动流程详解想搞懂 Agent 替你干了什么整个安装就 3 步步骤做什么说明1️⃣ 指向视觉 API在~/.config/agent-vision-toolkit/env写入 3 个环境变量这是唯一的必填项2️⃣ CLI 放进 PATHclone 仓库把bin/目录加入 shell 的 PATH之后glance等命令全局可用3️⃣ 安装 skill把 skills/vision-skills/ 复制进 Agent 的 skills 目录如~/.codex/skills/并重启Agent 从此知道工具的存在和用法如果偏好手动操作第 2 步的命令就是git clone https://gitcode.com/Anionex/agent-vision-toolkit.git export PATH$PWD/agent-vision-toolkit/bin:$PATH # 写入 shell 配置以持久生效第 1 步的配置格式只需 3 行VISION_API_KEYsk-... VISION_BASE_URLhttps://your-vision-endpoint/v1 VISION_MODELyour-vision-model⚙️ 环境要求也很低glance只需 Python 3.11ground/detect/crop和长截图 OCR 另需pillow。按需安装即可无需为用不到的工具装依赖。进阶无缝接入层让粘贴图片直接可用基础安装后Agent 通过glance等命令看图。而无缝接入层更进一步——图片直接粘贴进对话、或 Agent 调用内置看图工具如 Codex 的view_image都不再报错Agent接入方式状态Codex透明本地代理vision_proxy.py监听127.0.0.1:19100✅ 已验证Claude Code同一个代理把ANTHROPIC_BASE_URL指向它即可✅ 已验证Pi / Oh My Pi单文件原生 extension见 extensions/pi/✅ 已验证OpenCode单文件原生 plugin见 extensions/opencode/✅ 已验证所有入口共享同一份VISION_*配置一次配置、处处可用。接入层的完整部署细节备份配置、后台常驻、验证流程都写在 AGENT_INSTALL.md 里直接让 Agent 照做即可。核心原理focus hint让看图有的放矢很多图片转文字方案只是让多模态模型写一段通用描述再交给纯文本模型自己拼凑中间必然丢信息。agent-vision-toolkit 的做法是先提取Agent 为什么想看这张图你的原始请求或模型调用看图工具时自述的理由把它作为focus hint一并交给视觉模型。拿回来的就不再是一个带侧边栏的界面这种空话而是布局、组件、间距、颜色等当前这一步真正要紧的细节——成本更低、准确率更高、响应更快。装完就能用4 个立竿见影的场景✅图片问答贴一张设计图问这种背景风格叫什么Agent 会给出弥散渐变、Mesh Gradient 等风格辨析甚至附上 CSS 实现✅看图排 bug贴一张界面截图问为什么字段名称不符合预期Agent 直接对照代码定位问题并给出修复方案✅UI 还原从手绘稿或网页截图还原出可编辑的 HTML 界面流程见 restore-ui 技能指南✅长截图 OCR聊天记录、滚动长页逐块识别并按序合并完整示例见 examples/long-screenshot-ocr/。常见问题会大幅增加费用吗不会。每次看图只把必要的意图和图片送入多模态模型上下文且有截断机制不存在上下文膨胀。想进一步压成本还可以用本地部署的视觉小模型如 Qwen-VL 系列充当视觉端。代理需要再配一份上游 API key 吗不需要。你的文本模型鉴权头由 Agent 原样携带代理只透传env里只写视觉 API 的三个变量。有使用限制吗它是图片转文字层不会把视觉 token 直接交给文本模型整体效果由主模型 视觉模型共同决定代理缓存重启即清空。写在最后3 分钟流程回顾发一句安装提示词 → 填 3 个VISION_*配置 → 重启 Agent。之后无论是图片问答、长图 OCR 还是 UI 还原你的纯文本 Agent 都能像多模态模型一样看世界。这就是 agent-vision-toolkit 想给你的东西——给 Agent 装上眼睛而且一句话就装好。赞分享人工智能AI 技能计算机视觉OCRGUI 自动化大模型DeepSeek【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/Anionex/agent-vision-toolkit点击查看免费下载相关推荐给纯文本模型装上眼睛agent-vision-toolkit 如何让 DeepSeek 也能看懂图片给纯文本模型装上眼睛agent vision toolkit 如何让 DeepSeek 也能看懂图片 agent vision toolkit 是一套面向纯文3分钟给Claude Code装上眼睛World2Agent传感器安装实战指南3分钟给Claude Code装上眼睛World2Agent传感器安装实战指南 World2AgentW2A是一个开放协议专门解决AI Agent 如给Claude Code装上眼睛PixelRAG pixelbrowse插件安装与实战教程给Claude Code装上眼睛PixelRAG pixelbrowse插件安装与实战教程 ! PixelRAG 视觉检索增强生成项目标志 https://rRAG人工智能大模型计算机视觉创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
