★ FEATURED ARTICLE 【免费下载链接】model-runnerDocker Model Runner项目地址https://gitcode.com/gh_mirrors/mo/model-runner点击查看免费下载Docker Model Runner 是 Docker 官方的 AI 模型运行工具它的一个核心亮点是直接用OCIOpen Container Initiative规范来打包和传输 AI 模型。你不再需要手动下载几十 GB 的 GGUF / safetensors 文件——一条docker model pull命令就能像拉取容器镜像一样从 Docker Hub 或任意 OCI 兼容的 registry 把模型拉下来并支持断点续传、并行上传、多架构 manifest 等镜像级的能力。本文带你深入它的模型分发规范看懂 Docker Model Runner 是怎么用 OCI 打包模型的。为什么模型分发需要一套 OCI 标准AI 模型文件动辄几个 GB 到上百 GB传统分发方式存在几个痛点没有统一格式GGUF、safetensors、DDUF、diffusers 目录……各家各不同下载体验差大文件下载中断就要从头再来缺少校验与版本管理无法像镜像一样通过 digest 精确锁定版本。Docker Model Runner 的解法是把模型当作一种OCI 制品Artifact复用容器镜像几十年积累的 registry 基础设施——manifest、layer、content-addressed 存储、Range 断点续传全部照搬。相关实现集中在 pkg/distribution/ 目录下架构设计文档可参考 MODEL_TYPES.md。拆解一个模型的 OCI 包Manifest、Config 与 Layers一个模型包在 registry 里的结构和容器镜像几乎一致定义在 pkg/distribution/oci/manifest.go 中组成部分作用Manifest模型清单列出 config 和各 layer 的 digest 与媒体类型Config模型元数据架构、参数量、量化方式、格式等Layers每个权重分片shard、配置文件、license、chat template 各是一个独立 layerIndex多平台/多版本索引类似镜像的 manifest list几个关键设计1. 每个文件一个 Layer模型权重文件按文件拆分成 layer每个 layer 用 OCI 媒体类型标注内容。这些媒体类型定义在 pkg/distribution/types/config.goapplication/vnd.docker.ai.gguf.v3 # GGUF 权重v3 application/vnd.docker.ai.safetensors # safetensors 权重 application/vnd.docker.ai.dduf # Diffusers Unified Format application/vnd.docker.ai.mmproj # 多模态 projector application/vnd.docker.ai.chat.template.jinja # Jinja 对话模板 application/vnd.docker.ai.license # 许可证文本2. 配置版本化演进模型 config 有两版媒体类型见 config.gov0.1 是遗留格式v0.2application/vnd.docker.ai.model.config.v0.2json采用每文件一个 layer 文件路径注解的方式能保留嵌套目录结构例如text_encoder/model.safetensors这类 diffusers 模型的目录布局。3. 自动识别模型格式打包时不需要手动指定格式构建器会自动按文件扩展名识别 GGUF / safetensors / DDUF并发现分片文件shard。逻辑在 pkg/distribution/format/format.go 的DetectFromPath各格式的具体处理策略如 dduf.go通过注册表模式接入方便扩展新格式。双格式支持Docker 格式与 CNCF ModelPackDocker Model Runner 并非只认自家格式。构建器pkg/distribution/builder/builder.go支持两种输出Docker 格式默认application/vnd.docker.ai.*媒体类型CNCF ModelPack 格式application/vnd.cncf.model.*媒体类型manifest 的artifactType为application/vnd.cncf.model.manifest.v1json。ModelPack 的原生支持在 pkg/distribution/modelpack/types.go 中实现——它直接复用官方 model-spec 的类型定义保证与 CNCF 规范同步。这意味着你既能 pull 用modctl等第三方工具打包的 ModelPack 模型也能把自己的本地模型以 ModelPack 格式 push 出去实现跨工具生态互通。本地存储像容器一样内容寻址pull 下来的模型存放在一个本地 store 中核心实现是 pkg/distribution/internal/store/store.go。目录结构非常眼熟——和 OCI layout 规范一脉相承layout.jsonstore 版本标记当前为1.0.0models.json模型索引记录所有已拉取模型的引用与 tagblobs/sha256/...内容寻址的 blob 存储相同内容的权重文件天然去重。这套设计带来两个实用特性一是安全——Reset清理前会先校验layout.json是否存在防止误删非模型目录见 store.go#L51-L70二是自动清理——初始化时会清理超过 7 天的未完成下载文件避免中断的下载泄漏磁盘空间。传输层断点续传与并行上传大模型传输的关键在 registry 交互层 pkg/distribution/oci/remote/remote.go它基于 containerd 的 remotes 实现针对大文件场景做了专门优化Range 断点续传内部有一个rangeTransport在下载时附加 HTTPRange头并会在传输层手动跟随重定向最多 10 跳确保 registry 把 blob 请求重定向到 CDN 后续传偏移量信息不丢失有界并行上传push 时最多 5 个 layer 并行上传maxConcurrentLayerPushes 5既提速又避免打满 registry 连接Registry 镜像加速支持配置 registry mirror优先走镜像源拉模型。上手体验三条命令感受 OCI 模型分发理解了规范实际使用却非常简洁。CLI 命令定义见 pkg/../cmd/cli/commands/pull.go完整命令参考 cmd/cli/docs/reference/# 从 Docker Hub 拉取模型 docker model pull ai/smollm2 # 从 HuggingFace 拉取 GGUF未指定 tag 时默认 Q4_K_M 量化版 docker model pull hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF # 推送到 Docker Hub 或 Hugging Face docker model push mymodel:latest不依赖 Docker 的用户可以直接使用独立二进制dmr构建入口见 cmd/dmr/dmr pull ai/gemma3即可走完全相同的 OCI 分发流程。总结镜像基础设施在模型世界的复用Docker Model Runner 的模型分发规范可以概括为三个词标准化模型即 OCI 制品Manifest Config Layers 三件套媒体类型精确到文件角色可互通原生支持 CNCF ModelPack与modctl等社区工具生态打通可靠传输内容寻址去重、Range 断点续传、CDN 重定向感知、有界并行上传。这套方案的启发在于当 AI 模型体量逼近容器镜像时直接复用成熟的 registry 基础设施是比另起炉灶更聪明的选择。赞分享【免费下载链接】model-runnerDocker Model Runner项目地址https://gitcode.com/gh_mirrors/mo/model-runner点击查看免费下载相关推荐Nacos AI Resource Model 深入解析AI Registry 资源元数据与版本模型规范Nacos AI Resource Model 深入解析AI Registry 资源元数据与版本模型规范 本篇文章以 Nacos 开源仓库中的 AI Reso服务注册发现配置中心后端微服务云原生Cog Model Source 详解模型作者如何用 cog.yaml、Runner 与类型注解定义机器学习模型Cog Model Source 详解模型作者如何用 cog.yaml、Runner 与类型注解定义机器学习模型 本篇指南围绕 Cog 的模型源ModelMLOps容器模型推理服务开发工具Docker Model Runner 中 AI 模型的全生命周期管理拉取、打标签、推送与清理实战Docker Model Runner 中 AI 模型的全生命周期管理拉取、打标签、推送与清理实战 简介 Docker Model RunnerDMR是上一篇如何用SguanFOC在5分钟让PMSM电机转起来新手快速上手完整指南下一篇brain2qwerty部署指南8卡DDP训练与SLURM集群实战完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
