★ FEATURED ARTICLE Qwen-Image-2.1-viggle-turbo图像编辑实战1-3张参考图指令编辑完整指南Qwen-Image-2.1-viggle-turbo 是 Viggle 基于 Qwen-Image-2.1 蒸馏训练出的少步图像编辑模型只需 6 步基础模型需要 40 步、无需 CFG就能按文字指令对 1-3 张参考图完成编辑或文生图整体速度约为基础模型的 5 倍而质量在大多数提示词下几乎难以分辨。本文将带你完成从安装、指令编辑到 ComfyUI 工作流的全流程上手。⚡ 它是什么6 步出图的图像编辑加速方案这个仓库的核心是一个LoRA 适配器基于 DMD 分布匹配蒸馏训练加载在 Qwen-Image-2.1 基础模型的 Transformer 上即可生效。与基础模型相比速度6 次 Transformer 前向传播 vs 40 次且关闭了 CFG每步只需 1 次模型调用端到端约快5 倍质量v0.2.1 版本在 96 条留出测试请求上多样性达到基础模型的 98%构图漂移为 0%能力同时支持文生图T2I与指令驱动的图像编辑1-3 张参考图。仓库关键文件速查文件说明Qwen-Image-2.1-viggle-turbo-v0.2.1-6step-lora-r256.safetensors⭐ 当前推荐 LoRArank 256bf16约 1.3 GBQwen-Image-2.1-viggle-turbo-v0.2.1-6step-lora-r128.safetensors精简版 rank 128约 680 MBComfyUI 工作流默认使用peft_v0.2.1/adapter_model.safetensors同一适配器的 peft 键格式版本comfyui/viggle_turbo.pyComfyUI 自定义节点2 个scheduler/scheduler_config.json配套调度器配置shift_terminal 改为 null注文本编码器、VAE、处理器不在此仓库分发运行时从 Qwen-Image-2.1 基础模型加载仓库 ID 为Qwen/Qwen-Image-2.1。 快速开始安装依赖并加载 LoRA如果本地没有模型文件可先克隆仓库git clone https://gitcode.com/hf_mirrors/Viggle/Qwen-Image-2.1-viggle-turboPythondiffusers方式的核心加载代码只有几行完整说明见 README.mdimport torch from diffusers import QwenImage21Pipeline, FlowMatchEulerDiscreteScheduler pipe QwenImage21Pipeline.from_pretrained(Qwen/Qwen-Image-2.1, dtypetorch.bfloat16) pipe.load_lora_weights( Viggle/Qwen-Image-2.1-viggle-turbo, weight_nameQwen-Image-2.1-viggle-turbo-v0.2.1-6step-lora-r256.safetensors, ) pipe.scheduler FlowMatchEulerDiscreteScheduler.from_pretrained( Viggle/Qwen-Image-2.1-viggle-turbo, subfolderscheduler) pipe.to(cuda) STEPS, SIGMAS 6, [1.0, 0.9375, 0.875, 0.75, 0.5, 0.25]⚠️QwenImage21Pipeline尚未进入稳定版 diffusers需要较新安装具体命令见 README.md 的 Install 章节。两个必须记住的参数num_inference_steps6 上面那组sigmas以及true_cfg_scale1.0不写负向提示词。这组参数就是6 步 turbo的精髓。 指令编辑实战1-3 张参考图怎么用编辑调用与文生图共用同一个 pipeline只需传入参考图列表。列表顺序决定提示词里image 1/image 2或image1、image2指代哪张图最多 3 张训练时也只用了 3 张以内。仓库自带两张官方示例参考图你可以直接拿来练手单图编辑——替换背景这类局部指令最稳from diffusers.utils import load_image image pipe( promptReplace the background with a sunset beach, keep the subject unchanged., image[load_image(input.png)], # 顺序即 image 1、image 2…… output_resolution1024, num_inference_stepsSTEPS, sigmasSIGMAS, true_cfg_scale1.0, ).images[0]多图合成——把上面两张示例图组合正是 ComfyUI 编辑工作流的默认示例image pipe( promptThe woman from image 1 is holding the cat from image 2 in her arms, keep the background of image 1., image[load_image(comfyui/input/woman2.webp), load_image(comfyui/input/cat.webp)], output_resolution1024, num_inference_stepsSTEPS, sigmasSIGMAS, true_cfg_scale1.0, ).images[0]小提示模型是按提示词增强PE后的长描述蒸馏的开启官方 PE 改写器对构图和文字渲染都有帮助但原始提示词也完全可用。 关键参数规则清单避免画质翻车的 6 条设置官方文档把这些称为 Rules that matter新手只需照抄即可步数与 sigma 节点num_inference_steps6且sigmas[1.0, 0.9375, 0.875, 0.75, 0.5, 0.25]任何分辨率下都原样传入改步数只动高噪端构图在前几个高噪节点就已决定若需 5/7 步只在1 → 0.875区间增删节点保持0.875, 0.75, 0.5, 0.25不动否则画面会明显变软必须使用仓库附带的调度器配置scheduler/scheduler_config.jsonshift_terminal从 0.02 改为 null基础配置会毁掉最后一步的细节LoRA 强度保持 1.0alpha 等于 rank且不要叠加两个学生模型比如 LoRA 叠在 v0.1 全量微调 Transformer 上参考图顺序即提示词编号不指定height/width时输出宽高比跟随最后一张参考图diffusers或第一张ComfyUI——想要哪个画幅就把那张图放对应位置true_cfg_scale1.0不用负向提示词。 ComfyUI 工作流拖入即用 显存要求仓库的 comfyui/ 目录提供了开箱即用的节点和工作流基于 ComfyUI 0.37.0 测试把 comfyui/viggle_turbo.py 复制到ComfyUI/custom_nodes/并重启得到两个自定义节点Viggle Turbo Sigmas生成 6 步采样节点按分辨率自动做 shift替代普通 KSampler 调度器Viggle Turbo LoRA (unmerged)运行时以Wx BAx方式注入 LoRA。官方 LoRA 加载器会把它合并进权重在 bf16/int8 下有损务必用这个节点strength 保持 1.0将 comfyui/Qwen-Image-2.1-viggle-turbo-t2i.json文生图和 comfyui/Qwen-Image-2.1-viggle-turbo-edit.json图像编辑拖进 ComfyUI 即可运行工作流内置了设置说明和可选的提示词增强组编辑工作流的示例参考图 comfyui/input/woman2.webp 与 comfyui/input/cat.webp需自行复制到ComfyUI/input/。工作流所需的模型文件默认 int8 版bf16 版可直接替换ComfyUI 目录文件大小diffusion_models/qwen_image_2.1_int8_convrot.safetensors或 bf167.3 / 14.2 GBtext_encoders/qwen3vl_8b_int8_convrot.safetensors或 bf169.4 / 17.5 GBvae/qwen_image_2.1_vae_bf16.safetensors0.7 GBloras/v0.2.1 的 r128默认或 r256 LoRA0.7 / 1.4 GB采样器保持euler BasicGuider无 CFG所有模型常驻时1248×832 出图峰值显存约26 GB。与 diffusers 的差异编辑工作流的输出尺寸跟随image 1约 1 MP。 输出分辨率选择常用比例速查表文生图在 1024²/2048² 面积上训练图像编辑在 1024²/1536² 面积上训练参考图一律按 1024² 编码。约 1 MP 是甜点区最大约 4 MP 可用宽高保持 16 的倍数比例编辑常用尺寸1024² 面积文生图大尺寸2048² 面积1:11024 × 10242048 × 20484:31184 × 8962368 × 17603:4896 × 11841760 × 236816:91376 × 7682720 × 15369:16768 × 13761536 × 2720完整对照表见 README.md 的 Resolutions 章节。⚠️ 已知局限与许可说明复杂编辑仍弱于 40 步基础模型多参考图合成、换脸、身份保持类编辑可能出现人物重影/漂移小字号或长文本渲染更容易乱码文字密集场景可改用 8 步sigmas[1, 0.9375, 0.875, 0.75, 0.625, 0.5, 0.25, 0.125]许可本模型基于 Qwen 研究许可协议LICENSE仅限非商业研究用途商业使用需单独授权署名要求见 NOTICE。照着本文的 6 条参数规则设置后你只需一句自然语言指令就能在 6 步内拿到质量接近基础模型的编辑结果——先用仓库自带的两张示例图跑通一次再换成自己的照片即可。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
