ControlNet for Stable Diffusion WebUI：让AI绘画听你指挥的完整控制指南

ControlNet for Stable Diffusion WebUI让AI绘画听你指挥的完整控制指南【免费下载链接】sd-webui-controlnetWebUI extension for ControlNet项目地址: https://gitcode.com/gh_mirrors/sd/sd-webui-controlnet想不想让 Stable Diffusion 不再随缘出图而是像画师一样精准地按照你的草图、深度图、姿势图来生成ControlNet 就是干这件事的。作为 Stable Diffusion WebUI 的扩展sd-webui-controlnet 可以在不改动原始模型的前提下实时把结构、深度、轮廓等控制信号注入到生成过程中让 AI 出图严格遵循你的输入——既能精准复现又保留艺术发挥的空间。 为什么 ControlNet 是AI绘画的终极方向盘平时你用 txt2img 出图只能靠提示词许愿构图和结构全看运气。而 ControlNet 给你加了第二支笔结构可控上传一张草图或线稿AI 会严格沿着你的线条生长空间可控用深度图控制近景远景、透视层次人物可控用 OpenPose 骨架图锁死人物动作和姿态无需合并模型所有控制都在运行时动态挂载切模型、切风格都不冲突一句话总结提示词决定画什么ControlNet 决定怎么画。两者结合你才真正拿回了创作主导权。 一套全能的预处理器工具箱ControlNet 的强大来自它内置的丰富预处理器——它们负责把你手里的普通图片翻译成 AI 能理解的控制信号。开箱即用的控制类型包括Canny / HED边缘检测把图变成清晰线条适合草图控制见 annotator/canny/DepthMidas / Zoe / Depth Anything V2深度估计控制场景的空间层次如 annotator/depth_anything_v2.pyOpenPose人体骨骼识别精准控制动作姿态见 annotator/openpose/Lineart / Anyline线稿提取专为动漫和插画设计Segmentation / OneFormer语义分割控制不同区域的内容与材质Normal Map法线信息控制光影和立体感Reference-only无需任何控制模型直接用一张图做风格/内容参考每种预处理器都有滑块参数可以自己调而且都支持实时预览——点一下预览按钮就能立刻看到控制信号长什么样生成前心里就有底了。上图是一个典型的深度控制案例左边是原始咖啡馆场景图。经过深度预处理器提取后变成了下面这张白近黑远的深度图再用深度图 提示词生成就能得到下面这张风格完全不同、但空间结构完全一致的新图——人物位置、家具布局、前后景深全都保留了 三步完成安装五分钟开始出图安装过程比你想象的更简单全程只需要在 WebUI 里点几下打开 Stable Diffusion WebUI 的Extensions选项卡进入Install from URL在 URL 输入框中填入仓库地址https://gitcode.com/gh_mirrors/sd/sd-webui-controlnet也支持git clone到stable-diffusion-webui/extensions/目录下点击Install等待几秒然后在Installed页签点击Apply and restart UI完全重启 WebUI包括终端把下载好的 ControlNet 模型文件放入 models/ 目录在 WebUI 界面找到 Model 下拉框旁的刷新按钮点一下即可看到新模型提示显存要求很友好——开启--xformers并勾选Low VRAM后4GB 显存的显卡即可在 768x832 分辨率下运行。 从草图到成品三个真实出图场景场景一换个画风结构不变。想给一张场景图换风格用深度图或 Canny 锁住结构提示词里写你想要的风格就能生成同一个世界的另一个版本效果就是上面咖啡馆的例子。场景二参考图续作。reference-only预处理器不需要任何控制模型——直接把一张参考图丢进去SD 会把它的注意力层与参考图连接参考内容但不照抄。比如参考一只小狗的照片就能在草地上生成出同款小狗的不同姿态场景三用 API 自动化生产。如果你要批量处理图像或者想把 ControlNet 集成进自己的工作流可以直接调用 API。用--api启动 WebUI 后参考 example/txt2img_example/api_txt2img.py 里的请求示例几行代码就能提交带 Canny 控制的生成任务控制图、权重、起止步数全部可编程 进阶技巧像老手一样调参数当你跑通第一个生成任务后下面这几个开关会让你的出品质量再上台阶Pixel-Perfect 模式勾选后不用手动设预处理器分辨率ControlNet 会自动计算最佳分辨率让控制图的每个像素都与 SD 画面对齐。新手强烈建议常开三种控制模式Balanced提示词与 ControlNet 均衡默认首选My prompt is more important注入强度逐层递减保证你的文字描述充分呈现ControlNet is more important只作用于条件侧CFG Scale 为 7 时控制力相当于 7 倍适合精确复现输入结构Control Weight 与 Guidance Start/End权重控制影响力度起止百分比控制在第几步开始/停止施加控制。前几步管构图、后几步管细节——分段控制可以做出很细腻的效果多 ControlNet 叠加在设置里把Multi ControlNet: Max models amount调大并重启就能同时挂 Canny Depth OpenPose 等多个单元实现极致精细的控制批处理模式把单元切到 Batch 模式并指定批处理目录系统会自动遍历整目录的图逐一生成大批量工作流效率翻倍High-Res Fix 无缝配合开启高分修复时ControlNet 会自动输出大小两张控制图基础生成和放大阶段各用各的无需任何手动干预⚙️ 它是怎么做到的一分钟原理速览ControlNet 的架构非常模块化理解三层就够了预处理层各预处理器继承自统一的 Preprocessor 基类把输入图转成边缘、深度、骨架等控制信号。具体实现集中在 annotator/ 目录新预处理器都注册在 scripts/preprocessor/模型层controlnet_model_guess.py 负责加载 ControlNet / T2I-Adapter 等控制模型并自动推断类型注入层核心逻辑在 scripts/controlnet.py通过 scripts/hook.py 的 UnetHook 把控制信号实时注入 SD 的 U-Net 各层——这就是不合并模型也能控制的秘密前端交互预览、滑块、多单元管理由 javascript/ 驱动所以你看到的一切界面能力背后都是这套干净的信号 → 模型 → 注入流水线。 写在最后ControlNet 把 Stable Diffusion 从抽卡游戏变成了创作工具——草图、深度、姿态、参考图你想锁住的任何东西它都能锁住。建议你的第一条学习路径是先用 Canny 跑通草图控制 → 再试深度图控制空间 → 最后叠加 OpenPose 练多单元组合。现在就打开你的 WebUI装上它上传第一张控制图亲手体验一下AI 按我画的来的爽感吧【免费下载链接】sd-webui-controlnetWebUI extension for ControlNet项目地址: https://gitcode.com/gh_mirrors/sd/sd-webui-controlnet创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考