实战 ToonCrafter：3 步把两张卡通静帧变成 16 帧流畅动画

实战 ToonCrafter3 步把两张卡通静帧变成 16 帧流畅动画【免费下载链接】ToonCrafter[SIGGRAPH Asia 2024, Journal Track] ToonCrafter: Generative Cartoon Interpolation项目地址: https://gitcode.com/GitHub_Trending/to/ToonCrafterToonCrafter 是一个基于扩散模型的卡通动画插值工具SIGGRAPH Asia 2024给它第一帧和最后一帧两张卡通图它负责把中间 14 帧脑补出来输出一段 512x320、16 帧的小视频。适合想快速验证动画创意、做分镜预览的动画爱好者和独立开发者无需会算法会跑命令即可。先看到效果两张静帧直接动起来官方示例的输入/输出如下——左边是起始帧中间是结束帧右边就是 ToonCrafter 卡通动画插值生成的完整过渡起始帧结束帧生成的动画角色姿态、背景和光影的过渡都很自然不是简单的画面渐变。原理一句话它先经过预训练的图像到视频扩散模型可以理解为见过大量动画、知道画面该怎么变的生成模型只锁住首尾两帧让中间帧由模型自由补全所以运动方向和幅度都由它自己决定——这也意味着效果有一定随机性后面会讲怎么调。四步配好环境并完成首跑1. 克隆代码git clone https://gitcode.com/GitHub_Trending/to/ToonCrafter cd ToonCrafter2. 建独立环境。项目锁定 PyTorch 2.0.0 和较老的 transformers 4.25.1官方指定 Python 3.8.5照抄最省事conda create -n tooncrafter python3.8.5 conda activate tooncrafter pip install -r requirements.txt3. 放模型权重。到 Hugging Face 的 Doubiiu/ToonCrafter 仓库下载model.ckpt放到指定路径。命令行方式不会自动下载目录必须提前建好mkdir -p checkpoints/tooncrafter_512_interp_v1把model.ckpt移动进该目录即可Gradio 方式会自动下载可跳过这步。4. 跑起来。仓库自带 3 组示例输入scripts/run.sh 会调用 scripts/evaluation/inference.py结果存到results/目录sh scripts/run.sh跑完到results/下按目录找到.mp4文件就是你的第一段生成动画。如果想在浏览器里点点鼠标看效果直接运行 gradio_app.py它自带三组示例上传两张图、填一句英文描述比如walking man、点 Generate 即可python gradio_app.py三个让生成更符合预期的调法用自己的关键帧批量生成命令行推理时--prompt_dir指向的目录会被按文件名排序每两张图算一组起始帧结束帧目录里的prompts.txt每行一句描述、对应一组图。所以在仓库外建个自己的目录按01_start.png、01_end.png、02_start.png、02_end.png这样命名再配上prompts.txt用--interp开启插值模式即可python3 scripts/evaluation/inference.py \ --ckpt_path checkpoints/tooncrafter_512_interp_v1/model.ckpt \ --config configs/inference_512_v1.0.yaml \ --prompt_dir /path/to/your/images --interp \ --height 320 --width 512 --video_length 16控制运动幅度和生成质量scripts/run.sh 里几个参数最值得动--frame_stride脚本里写作FS控制两帧之间隔多久推荐 5~30值越小生成的动作幅度越大值越大越接近慢动作--ddim_steps采样步数默认 50调小比如 20~30能明显提速质量略降--unconditional_guidance_scale文字/图像条件对结果的约束强度默认 7.5调高更听话但容易过饱和--seed换种子可以抽卡同一组输入不同种子会得到不同过渡。用素描引导控制运动轨迹除了首尾帧ToonCrafter 还支持稀疏素描引导给几张中间时刻的草图模型会把运动约束在草图画的路线上大幅减少瞎动。参考下面示例草图只需勾出主体轮廓和位置即可类似的参考图彩色化黑白草图一张彩色参考图输出上色动画也支持效果示例用之前先知道的边界项目限制 / 说明帧数单次最多生成 16 帧不能更长分辨率官方权重只开放 512x320宽x高硬件必须 CUDA GPU官方以 A100、DDIM 50 步为基准消费级显卡可跑但更慢建议减小ddim_steps批量推理只支持 batch size 1输入尺寸宽高需为 16 的倍数脚本会自动居中裁剪成功率项目自述是研究性质生成不保证成功失败时先换种子和frame_stride再试另外requirements.txt里含xformers个别 CUDA 版本下安装会失败装不上时可先注释掉再试跑。小结ToonCrafter 的价值在于把两张关键帧到一段动画这件事压缩成一条命令环境 10 分钟配好权重放对目录sh scripts/run.sh就能看到 512x320 的 16 帧卡通动画要控制运动幅度和质量就动frame_stride和ddim_steps。遇到问题优先翻 README 的 Models 与 Setup 章节或到项目仓库的 issues 区反馈。【免费下载链接】ToonCrafter[SIGGRAPH Asia 2024, Journal Track] ToonCrafter: Generative Cartoon Interpolation项目地址: https://gitcode.com/GitHub_Trending/to/ToonCrafter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考