★ FEATURED ARTICLE 【免费下载链接】Bernini-v2-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Bernini-v2-bf16点击查看免费下载Bernini-v2-bf16 是 ByteDance Bernini 统一 AI 视频生成模型 的 Apple MLX 转换版bf16包含 Qwen2.5-VL-7B 语义规划器、Wan2.2-A14B 双专家 DiT 渲染器与完整配套组件可让你在自己的应用中实现先理解、再生成的新一代文生视频 / 图生视频能力。本文带你从零搞懂架构并给出可落地的集成步骤。一、先搞懂语义规划器在 AI 视频生成中扮演什么角色传统文生视频text-to-video模型把提示词直接交给扩散模型硬猜画面长提示、多主体、复杂运镜场景下经常失控。Bernini-v2 的架构把生成拆成了两个平面规划平面planner plane由 mllm/ 目录下的 Qwen2.5-VL-7B 多模态大模型MLLM担任语义规划器。它以 MaskGIT 式规划方式把提示词、参考图/视频理解为一组语义嵌入最多 4096 个 mask token输出给下游生成器。渲染平面renderer plane由双专家 Wan2.2-A14B DiT高噪专家 低噪专家完成实际的视频帧生成配合 umT5 文本编码器与 16 通道 WanVAE 完成编码/解码。提示词/参考图 → MLLM 语义规划器 → MLPConnector 连接器 → 双专家 DiT 渲染器 → VAE 解码 → 视频 (planner_glue) (high/low noise) (vae)关键点规划器与渲染器是联合训练的co-trained专家权重相对 Bernini-R 版本经过重训练两者不能与Bernini-R-bf16混用。这一点在集成时务必注意。二、模型文件清单你要下载什么整个仓库即是一套可直接加载的权重。各文件的职责与体积如下文件组件说明mllm/model.safetensorsQwen2.5-VL-7B 语义规划器bf16约 16.6 GB标准 HF Qwen2.5-VL 布局Bernini 训练权重high_noise_model.safetensorsWan2.2-A14B 高噪专家约 28.6 GB负责视频结构/布局low_noise_model.safetensorsWan2.2-A14B 低噪专家约 28.6 GB负责细节精修vit_decoder.safetensorsDiffLoss_FM 流匹配头约 2.9 GBSimpleMLPAdaLN宽 4096 / 深 16planner_glue.safetensorsMLPConnector mask_tokens约 169 MB规划器与渲染器的接口件t5_encoder.safetensorsumT5-XXL 文本编码器约 11.4 GB与原版 Wan2.2 逐位一致vae.safetensors16 通道 WanVAE约 508 MB与原版 Wan2.2 逐位一致config.jsonwan-core 运行时配置双专家 A14B 的推理参数bernini_v2_config.jsonBernini 整体配置规划器/连接器/边界参数转换溯源信息来源 commit、转换日期、逐位校验结论见 conversion.json权重来源与授权说明见 README.md。三、获取权重一键 clone 与 LFS 拉取权重通过 Git-LFS 存储clone 后需要显式拉取 LFS 文件总计约 90 GB请预留磁盘与时间git clone https://gitcode.com/hf_mirrors/mlx-community/Bernini-v2-bf16 cd Bernini-v2-bf16 git lfs pull 如果只需要先跑通渲染器可只拉取high_noise_model.safetensors、low_noise_model.safetensors、t5_encoder.safetensors、vae.safetensors与config.json规划器文件在接入语义规划阶段再拉取。四、集成四步走把语义规划器接进你的应用第 1 步搭建渲染器管线drop-in 兼容渲染平面与Bernini-R-bf16MLX 栈布局完全相同可直接复用现有 MLX Wan2.2 双专家推理栈如bernini-r-mlx的pipeline_mlx.t2v / t2i或 Swift 的wan-core栈。加载时的核心超参来自 config.json参数值含义dual_model/boundarytrue/0.875双专家开关与高/低噪切换点sample_steps40采样步数sample_shift3.0流匹配时间步偏移sample_fps/frame_num16 / 8116 fps、81 帧约 5 秒num_layers/num_attention_heads40 / 40DiT 主干规模dim 5120text_dim 4096两个专家的完整结构定义见 transformer_config.json 与 transformer_2_config.json。第 2 步加载 Qwen2.5-VL 语义规划器规划器按标准 HuggingFace Qwen2.5-VL 布局保存mllm.前缀已剥离可用任意 MLX 的 Qwen2.5-VL loader 直接加载 mllm/model.safetensors模型规格28 层、hidden size 3584、GQA 注意力28 头 / 4 KV 头、M-RoPE 位置编码详见 mllm/config.json分词与图像处理mllm/tokenizer_config.json、mllm/preprocessor_config.jsonQwen2.5-VL Processorpatch 14、temporal patch 2对话模板在 mllm/chat_template.json生成默认参数temperature≈0、repetition_penalty 1.05在 mllm/generation_config.json⚠️ 常见误区这不是原版 Qwen2.5-VL 权重而是 Bernini 联合训练得到的scratch_mllm权重。不要拿原版 Qwen 权重替换也不要拿它当通用对话模型使用。第 3 步用 planner_glue 打通两个平面planner_glue.safetensors 是规划器输出到 DiT 的适配器包含两部分MLPConnector把 MLLM 的 3584 维 ViT 特征投到渲染器的 4096 维生成空间out_dim_for_vit: 3584→out_dim_for_gen: 4096生成分支使用 zero-init 的末层投影保证训练初期对渲染器无扰动mask_tokensMaskGIT 规划所需的 4096 个可学习 mask token。接线路径上还有一个DiffLoss_FM 流匹配头vit_decoder.safetensorsflow-matchz_channels 3584width 4096负责对规划特征做进一步解码。规划特征类型为masked_tgt_embed_with_qwen_txt_vit_tokens见 bernini_v2_config.json 中feature_type_from_stage_one即mask 目标嵌入 Qwen 文本/ViT token的融合表示。第 4 步对齐推理参数规划侧的推理参数集中在 bernini_v2_config.json集成时建议逐项对齐参数值作用switch_dit_boundary0.875DiT 高/低噪专家切换点boundary_ratio0.417边界比例shift3.0流匹配偏移logit_mean/logit_std0.5 / 1采样分布校准num_mask_token4096MaskGIT mask token 数量max_sequence_length512文本序列上限与 T5 的t5_max_sequence_length一致t5_combine_typeconcat_with_zero_initT5 文本与规划特征拼接方式target_fps16目标帧率五、新手避坑清单❗磁盘全部权重约 90 GBMLX 下建议 48 GB 统一内存以上的 Apple 设备完整运行双专家 规划器❗不可互换v2 专家与规划器是联合训练的整体不能和Bernini-R-bf16的文件混搭README.md 中已明确标注 retrained❗LFS 校验若git lfs pull后文件大小只有几百字节说明仍是 LFS 指针文件请重新拉取指针与真实大小可对照 conversion.json 检查❗T5 不要重复加载仓库提供的是独立 bf16 编码器 t5_encoder.safetensors已验证与原版逐位一致无需再找 fp32 版本渐进集成先只跑渲染平面验证管线再接规划平面问题更容易定位。六、许可与致谢项目采用Apache-2.0许可与上游 ByteDance/Bernini-Diffusers-v2 一致模型归 Bernini 原作者所有。本转换仅改变 dtype 与张量布局未做任何微调。集成到你的产品时建议在你的项目说明中保留对上游的致谢与许可声明。小结Bernini-v2-bf16 把语义规划 双专家渲染这一完整架构以 MLX bf16 形式交付——渲染器可 drop-in 复用现有 Wan2.2 管线规划器用标准 Qwen2.5-VL loader 加载再用 planner_glue.safetensors 的连接器与 mask tokens 串起两个平面并按 bernini_v2_config.json 对齐参数即可在你的应用中落地新一代 AI 视频生成。赞分享【免费下载链接】Bernini-v2-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Bernini-v2-bf16点击查看免费下载相关推荐Bernini-v2的MaskGIT语义规划精讲让AI视频生成先规划后绘制的关键技术Bernini v2的MaskGIT语义规划精讲让AI视频生成先规划后绘制的关键技术 Bernini v2 bf16 是字节跳动 Bernini Diffus开发者指南如何基于sd-sandbox将dreamshaper-xl-lightning-amdnpu模型集成进你的AI绘图应用开发者指南如何基于sd sandbox将dreamshaper xl lightning amdnpu模型集成进你的AI绘图应用 dreamshaper xlAnyLabeling开发者指南如何集成自定义AI模型AnyLabeling开发者指南如何集成自定义AI模型 AnyLabeling是一个强大的AI辅助数据标注工具支持YOLO、Segment Anything数据标注计算机视觉AI 应用桌面应用上一篇GraphvizOnline5分钟掌握免费在线图表工具的终极指南下一篇ExoPlayer 对 SmoothStreaming 的支持FMP4 容器、TTML 字幕、PlayReady 与直播播放能力详解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
