★ FEATURED ARTICLE 【免费下载链接】ai-infra-engineer-learningAI Infrastructure Engineer Learning Track - Production ML infrastructure curriculum (2-4 years experience)项目地址https://gitcode.com/gh_mirrors/ai/ai-infra-engineer-learning点击查看免费下载你训练好的机器学习模型究竟如何变成一个可以 7×24 小时稳定对外提供推理的ML服务开源学习路径ai-infra-engineer-learning的入门项目 101 给出了完整答案用FastAPI包装一个 ResNet 图像分类模型通过Docker容器化部署到KubernetesK8s集群并接入Prometheus Grafana监控体系。本文带你完整走一遍这条实战路线帮你快速建立生产级模型服务Model Serving的工程能力。 先认识一下 ai-infra-engineer-learning这是一个面向 2~4 年经验的AI 基础设施工程师的完整开源课程覆盖 10 个模块、3 个生产级项目总时长 500 小时采用 MIT 协议开源内容规模说明学习模块10 个从基础设施基础到 LLM 基础设施实战项目3 个项目 101 模型服务 → 102 MLOps 流水线 → 103 LLM 部署实验/测验62 个 Lab 265 道题每模块配套练习与测验学习入口可以从这几个文件开始课程总览CURRICULUM.md快速上手指南GETTING_STARTED.md前置技能自查PREREQUISITES.md项目 101 对应课程的第一站 Module 01: Foundations你将在 8 节课内完成环境搭建、Docker 入门、模型服务与 API 开发。 项目 101 的目标把 ResNet 变成生产级 ML 服务项目 101 要求你构建一套完整的模型服务系统部署一个预训练的 ResNet 图像分类模型对外提供 REST API全程容器化、集群化、可监控。核心功能要求一览✅REST APIPOST /predict接收图片或图片 URL返回 Top-5 预测结果及置信度✅容器化多阶段构建、镜像 2GB、非 root 用户运行✅K8s 部署Deployment Service ConfigMap带存活/就绪探针支持零停机更新✅监控Prometheus 采集request_count、request_duration、prediction_count等自定义指标Grafana 展示 5~7 个关键面板✅CI/CD每次提交自动跑 lint 测试 构建镜像关键文件速查表文件作用src/api.pyFastAPI 应用实现/predict、/health、/metrics端点src/model.py模型加载与推理ResNet18 图像预处理src/config.py集中式配置管理Dockerfile多阶段构建模板builder → runtimekubernetes/deployment.yamlK8s 部署模板探针、资源限额、滚动更新kubernetes/hpa.yaml水平自动扩缩容HPA配置monitoring/prometheus.ymlPrometheus 抓取配置monitoring/grafana/dashboards/dashboard.ymlGrafana 仪表盘模板整个项目约 30 个文件、预计 30 小时完成docs/ 目录下还备有架构、部署与排障文档模板。️ 5 个里程碑从本地 API 到全自动流水线项目采用里程碑式推进每一步都建立在上一项交付物之上共 6 个里程碑前 5 个是核心里程碑目标时长交付物1本地跑通 FastAPI 推理 API6hlocalhost:8000可预测2Docker 容器化4h可运行的优化镜像3Kubernetes 部署6h集群内可访问的服务4Prometheus Grafana 监控6h指标仪表盘 告警5CI/CD 流水线4h自动化测试与部署6完整文档4h可交接的技术文档步骤 1用 FastAPI 写出推理 API一切从 src/api.py 和 src/model.py 开始。你需要实现模型加载、图像预处理224×224 ImageNet 归一化、推理执行以及带标签的 Prometheus 指标。FastAPI 会自动在/docs生成交互式 API 文档方便随时自测。 关键设计模型在应用启动时就加载进内存避免首个请求的冷启动延迟。步骤 2多阶段 Docker 构建打包 ML 服务Dockerfile 模板演示了两个经典技巧builder → runtime 两阶段构建编译/依赖安装留在构建阶段运行阶段只带python:3.11-slim和必要文件镜像更小非 root 用户 HEALTHCHECK安全性与容器健康探测一步到位步骤 3Kubernetes 零停机部署deployment.yaml 是一份教学级的部署模板每个字段都附有注释说明双副本高可用、RollingUpdate滚动更新、/health存活与就绪探针、资源请求/限额CPU 500m~1000m、内存 1~2Gi以及 Prometheus 抓取注解。掌握它之后hpa.yaml 可以让服务按负载自动扩缩。步骤 4Prometheus Grafana 监控闭环配置 prometheus.yml 抓取 API 的/metrics端点15 秒间隔再加载 Grafana 仪表盘模板最后加一条服务宕机告警——监控闭环完成。配套课程 Lab 05: Instrument with Prometheus 可同步练习。步骤 5CI/CD 让交付自动化每次提交 main 分支自动执行lint → 测试 → 构建并推送镜像 → 部署可选。目标是整条流水线10 分钟内跑完。 快速开始5 步进入项目# 1. 克隆仓库 git clone https://gitcode.com/gh_mirrors/ai/ai-infra-engineer-learning cd ai-infra-engineer-learning # 2. 创建虚拟环境并安装依赖 python3.11 -m venv venv source venv/bin/activate # Windows: venv\Scripts\activate pip install -r requirements.txt # 3. 从 Module 01 开始学习 # 4. 进入项目目录按里程碑动手实现 # 5. 每完成一个里程碑就跑一次 pytest 验证环境要求不高8GB 内存、20GB 磁盘即可本项目无需 GPUCPU 就能完成全部练习。 代码桩 TODO 学习方法怎么用打开 src/ 目录你会发现所有文件都提供了完整的函数签名、类型提示和 TODO 注释注释里写明了实现步骤甚至示例代码——你的任务是补齐具体实现而不是一眼望不到头的白纸。这种设计保证你始终知道该做什么、怎么做通过 tests/ 的测试套件验证每一步建议覆盖率达到 70%积累的是可写进简历的完整项目而不是一堆零散脚本⚠️ 6 个新手最常踩的坑坑正确做法Docker 镜像过大多阶段构建 slim 基础镜像目标 2GB模型冷启动应用启动时预加载模型到内存缺少健康检查配置/health探针否则 K8s 更新会出问题配置硬编码在代码里用 ConfigMap 环境变量外部化跳过本地容器测试先在 Docker 里跑通再上 K8s资源限额设太低会导致 OOMKilled按模型大小调整 进阶练习与下一步完成项目 101 后推荐按此顺序继续 加固练习Exercise 08: Production-Grade Model Serving——批量推理、限流、优雅关闭、结构化日志把服务磨到敢交给运维的程度 评估标准项目评分量表对应的 project-assessment-rubric.md 明确告诉你 40% 功能 25% 代码质量 20% 文档的得分点 继续主线Module 02 云计算 → 项目 102 MLOps 端到端流水线Airflow MLflow DVC这套 API K8s 监控 CI/CD 的架构正是业界大厂模型服务的标准形态——完成项目 101你就拥有了 AI 基础设施工程师第一块坚实的敲门砖。现在打开终端跑起你的第一个 ML 服务吧赞分享【免费下载链接】ai-infra-engineer-learningAI Infrastructure Engineer Learning Track - Production ML infrastructure curriculum (2-4 years experience)项目地址https://gitcode.com/gh_mirrors/ai/ai-infra-engineer-learning点击查看免费下载相关推荐AI基础设施工程师第一课用ai-infra-engineer-learning打好ML基础设施的地基新手友好AI基础设施工程师第一课用ai infra engineer learning打好ML基础设施的地基新手友好 本文带你走进开源课程 ai infraTonic实战入门构建你的第一个gRPC服务Tonic实战入门构建你的第一个gRPC服务 本文是一份完整的Tonic gRPC实战指南详细介绍了如何使用Rust的Tonic框架构建gRPC服务。文章从后端RPC框架FastAPI-MCP 快速入门指南构建你的第一个MCP服务器FastAPI MCP 快速入门指南构建你的第一个MCP服务器 前言 FastAPI MCP是一个基于FastAPI框架的MCP服务器实现方案它允许开发者快后端MCP 服务工具调用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
