★ FEATURED ARTICLE 1. 从大模型三个字说起为什么入门路径和你想的不一样很多人第一次接触大模型脑子里冒出来的第一个念头是我要不要先学机器学习。这个想法本身没错但顺序往往是反的。我见过太多人抱着《机器学习西瓜书》啃了三个月推导了一堆公式结果连一个像样的对话模型都没跑起来热情就这么耗没了。问题不在于书不好而在于大模型的入门路径和传统机器学习的学习路径压根就不是一条线。大模型Large Language ModelLLM本质上是深度学习的一个分支而深度学习又是机器学习的一个子集。这个包含关系要理清楚机器学习是父集深度学习是子集大模型是深度学习里专门做大规模预训练下游适配的那一支。所以你说LLM是否属于深度学习答案是肯定的而且它属于深度学习里对算力、数据、工程能力要求最高的那一档。但反过来说学大模型并不需要你把机器学习的每个算法都吃透你更需要的是理解神经网络的基本运作方式、Transformer 的架构逻辑以及一套能跑起来的工程环境。我自己的经验是入门大模型最忌讳从上往下学——先啃理论再动手。正确的姿势是从下往上摸先把环境搭起来让一个预训练模型在你机器上吐出第一句话然后再回头去理解它为什么能吐出这句话。这种先见效果、再究原理的路径对保持学习动力极其重要。你看到模型真的能回答问题才会有动力去搞懂 attention 是怎么算的。这篇内容面向的是零基础或者刚入门的朋友也适合那些学过一点机器学习但没碰过大模型的同学。我会把整条路径拆成几个阶段环境搭建、Transformer 原理、预训练与微调、部署与提示词工程每个阶段都给出可操作的步骤和我踩过的坑。关键词里提到的 PyTorch、Transformer、大模型微调、本地部署都会覆盖到。你不需要一次全懂跟着走一遍至少能建立起完整的认知框架。2. 环境搭建PyTorch 装不对后面全是白费2.1 为什么 PyTorch 是绕不开的第一站大模型的开源生态几乎被 PyTorch 垄断了。Hugging Face 上的模型权重、训练脚本、微调框架绝大多数都是 PyTorch 格式。你当然可以用别的框架但会发现自己处处要转换格式纯属给自己找麻烦。所以第一步就是把 PyTorch 环境搞稳。这里有个新手最容易踩的坑直接pip install torch完事。这样装出来的往往是 CPU 版本或者和你显卡驱动不匹配的版本。等你兴冲冲跑模型发现用的是 CPU速度慢到怀疑人生。正确的做法是先确认你的显卡型号和 CUDA 版本再去 PyTorch 官网用它的版本选择器生成安装命令。我整理了一个对照表帮你快速定位显卡类型推荐 CUDA 版本安装命令要点NVIDIA 30/40 系CUDA 12.1官网选 CUDA 12.1 对应的 pip 命令NVIDIA 20 系CUDA 11.8兼容性最好稳妥选择AMD 显卡ROCm 版本需要装 ROCm 版 PyTorch生态支持弱一些纯 CPU无能跑但只适合小模型推理关于python 和 pytorch 版本对应这个关系必须查清楚。比如 PyTorch 2.1 通常配 Python 3.9 到 3.11你如果用了 Python 3.12可能会遇到某些依赖装不上的问题。我的建议是固定用 Python 3.10这个版本兼容性最广踩坑最少。2.2 Windows、WSL 还是 Linux环境选择的取舍关键词里出现了pytorch环境搭建wsl和7900xtx pytorch wsl说明不少人在纠结要不要用 WSL。我的看法很直接如果你主力是 Windows 且用的是 NVIDIA 显卡WSL2 是很好的折中方案它让你在 Windows 上获得接近 Linux 的开发体验同时显卡直通做得已经比较成熟。但如果你用的是 AMD 显卡WSL 下的 ROCm 支持一直不太稳定这种情况我建议直接装原生 Linux省得折腾。具体操作上WSL2 的流程是先在 Windows 功能里开启适用于 Linux 的 Windows 子系统和虚拟机平台然后wsl --install装 Ubuntu。装完后在 Ubuntu 里按 Linux 的方式装显卡驱动和 PyTorch。这里有个细节WSL 里不要重复装 Windows 的显卡驱动WSL 会直接调用 Windows 的驱动你只需要装 CUDA Toolkit 就行。验证环境是否成功跑这段代码import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU only)如果cuda.is_available()返回 False别急着往下走先把这个问题解决。常见原因有三个驱动版本太旧、PyTorch 装成了 CPU 版、CUDA 版本和 PyTorch 不匹配。逐个排查通常十分钟内能搞定。2.3 虚拟环境别把系统环境搞脏我强烈建议用 conda 或者 venv 建独立环境。大模型项目依赖多且版本敏感你今天装个 transformers 4.30明天另一个项目要 4.35混在一起迟早出事。conda 的好处是能同时管理 Python 版本和包命令也简单conda create -n llm python3.10 conda activate llm pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers datasets accelerate这套装完你就有了一个能跑大部分开源模型的基础环境。accelerate这个库很多人忽略但它能帮你自动处理多卡、混合精度这些事后面微调时非常有用。3. Transformer 到底在算什么把注意力机制讲成人话3.1 从一句话怎么变成向量开始要理解 Transformer得先理解一件事模型不认识文字它只认识数字。所以第一步是把句子里的每个词变成一个向量这个过程叫 embedding。比如我爱学习这三个字每个字都会被映射成一个几百维的向量。这些向量不是随便给的是训练出来的语义相近的字向量距离也近。但光有词向量不够因为同一个词在不同句子里意思不同。苹果在吃苹果和苹果发布会里完全是两回事。Transformer 的核心创新就是让每个词都能看到句子里其他词从而动态调整自己的表示。这个看到的机制就是 self-attention自注意力。你可以这样理解每个词都会问其他所有词一个问题——你和我有多相关然后根据相关程度把其他词的信息按比例融合进自己。这个相关程度就是 attention 权重。计算方式是拿当前词的 query 向量去和每个词的 key 向量做点积得到分数再经过 softmax 归一化最后用这些分数去加权所有词的 value 向量。3.2 Q、K、V 三个矩阵的直觉解释很多人卡在 Q、K、V 上。我用一个类比想象你在图书馆找书。你的需求query是一个关键词每本书的标签key是它的主题书的内容value是实际信息。你拿关键词去和每本书的标签比对匹配度高的书你就多读一点它的内容。Self-attention 做的就是这件事只不过每个词既是找书的人也是被找的书。用公式写就是Attention(Q, K, V) softmax(QK^T / sqrt(d_k)) V那个sqrt(d_k)是缩放因子作用是防止点积结果太大导致 softmax 梯度消失。这个细节在the illustrated transformer那篇经典文章里有很直观的图示强烈建议配合着看。多头注意力multi-head attention则是把上面这个过程并行做多次每次用不同的 Q、K、V 投影矩阵最后把结果拼接起来。为什么要多头因为一个头可能关注语法关系另一个头关注语义关联多个头能让模型从不同角度理解句子。这就像多个人从不同视角看同一幅画综合起来理解更全面。3.3 位置编码让模型知道词的顺序Self-attention 有个天然缺陷它对词的顺序不敏感。我打你和你打我在纯 attention 看来是一样的因为它是把所有词一起加权。所以需要位置编码positional encoding给每个位置加一个独特的向量让模型能区分先后。原始 Transformer 用的是正弦余弦函数生成位置编码后来很多模型改用可学习的位置嵌入。现在主流的大模型多用 RoPE旋转位置编码它能让模型更好地处理长文本。你不需要一开始就搞懂 RoPE 的数学但要知道位置信息是额外注入的这个概念。如果你想手写一个最简 Transformertransformer手写是个很好的练习。从 embedding 层、多头注意力、前馈网络、残差连接、层归一化一层层搭起来跑通一个翻译任务。这个过程会让你对架构的理解从知道变成掌握。我建议用 PyTorch 写因为调试方便出错信息也清晰。4. 预训练、微调与提示词大模型能力的三层来源4.1 预训练模型的知识从哪来预训练是大模型获取通用知识的过程。拿海量文本让模型做预测下一个词的任务。比如给它今天天气真它要预测下一个字是好。这个任务看似简单但要在 billions 级别的文本上做好模型必须学会语法、事实、推理、甚至一些常识。这就是为什么大模型能回答各种问题——它的知识是在预训练阶段压缩进参数里的。预训练的成本极高动辄几百张 GPU 跑几周。个人和小团队基本不可能从头预训练所以我们用的是别人预训练好的模型比如 Llama 系列、Qwen 系列。这些模型权重开源你下载下来就能用。关键词里的大模型下载指的就是这个环节通常从 Hugging Face 或者国内的模型社区获取。4.2 微调让通用模型变成你的专属模型预训练模型什么都知道一点但什么都不精。你要它做特定任务比如医疗问答、法律咨询就需要微调fine-tuning。微调是在预训练权重的基础上用你的领域数据继续训练让模型适应你的场景。大模型微调实战是现在最热的方向之一。微调分几种全参数微调、LoRA、QLoRA。全参数微调效果好但显存要求高一张 24G 的卡基本只能微调 7B 以下的模型。LoRA 是低秩适配只训练一小部分额外参数显存需求大幅降低效果也能接受。QLoRA 则是在 LoRA 基础上加了量化让消费级显卡也能微调大模型。我用 LoRA 微调过一个 7B 模型用的是单张 3090。流程大致是准备数据instruction-input-output 格式、加载模型和 tokenizer、配置 LoRA 参数、用 Trainer 训练、保存适配器权重。关键参数是lora_rank一般 8 到 64、learning_rate1e-4 到 3e-4、num_epochs3 到 5 就够多了容易过拟合。数据质量比数量重要几百条高质量样本往往比几万条噪声数据效果好。4.3 提示词工程不训练也能提升效果不是所有场景都值得微调。很多时候把提示词写好就能解决问题。大模型提示词工程与上下文工程讲的就是这个。核心思路是给模型清晰的指令、提供必要的上下文、给出示例few-shot、要求它分步思考。比如你要模型做情感分类与其直接问这句话是正面还是负面不如写成请判断以下评论的情感倾向只回答正面或负面。评论这家餐厅服务很好但菜太咸了。 加上明确的输出格式要求模型的表现会稳定很多。上下文工程更进一步涉及如何组织多轮对话、如何管理长文档的输入这些在构建实际应用时非常关键。5. 本地部署让模型在你自己的机器上跑起来5.1 为什么要本地部署本地部署大模型让个人电脑智能化这个需求越来越普遍。原因有几个数据隐私不想把敏感内容发给云端、成本长期用 API 费用不低、可定制能自由改模型和流程。本地部署的门槛这几年降了很多7B 级别的模型经过量化后16G 显存的显卡就能流畅运行。部署工具方面Ollama 是最省心的选择一条命令就能拉取和运行模型。LM Studio 提供了图形界面适合不想碰命令行的用户。如果你要集成到自己的应用里vLLM 和 TGI 是更专业的选择它们支持高并发和批处理适合做服务端。5.2 量化用精度换显存量化是把模型参数从 FP16 降到 INT8 或 INT4显存占用能减少一半到四分之三代价是精度略有下降。实测下来INT4 量化的 7B 模型在日常对话任务上和原版的差距肉眼可见但可以接受。如果你的显卡显存紧张量化是必选项。这里有个经验量化到 INT4 之后模型在需要精确计算的任务上比如数学会明显变差但在文本生成、总结、翻译上影响不大。所以选量化等级要看你的用途。另外大模型选择tcc还是wddm这类问题涉及的是显卡工作模式一般默认 WDDM 就行除非你有特殊的多任务需求。5.3 部署后的调优模型跑起来只是开始。你会发现响应速度、并发能力、上下文长度都需要调。几个关键点调整max_new_tokens控制输出长度设置temperature控制随机性0.7 左右比较平衡用top_p做核采样。如果要做多轮对话得管理好对话历史不然上下文很快就被占满。我自己的做法是给对话历史设一个上限超过就截断最早的几轮或者用摘要的方式压缩历史。这个策略在长对话场景下很实用能避免模型因为上下文过长而变慢或出错。6. 学习路线上的几个真实教训第一个教训不要一上来就追求大模型。很多人觉得 7B 太小非要搞 70B结果显存不够、速度慢、调不动。从 7B 甚至 1.5B 开始把整个流程跑通理解每个环节比直接上大模型有效得多。小模型能跑通的事大模型只是效果更好流程是一样的。第二个教训理论要和代码交替进行。光看transformer模型详解容易陷入看懂了但写不出的状态。我的建议是每学一个概念就去找对应的代码实现哪怕只是几行。比如学完 attention就手写一个 attention 函数用随机数据跑一遍看输出形状对不对。这种即时反馈能极大加深理解。第三个教训数据比模型重要。微调的时候很多人花大量时间调参却忽略了数据质量。实际上清洗好数据、设计好指令格式带来的提升往往比调参大得多。我见过用同样模型、同样参数只因为数据质量不同效果差出一大截的案例。第四个教训别忽视工程能力。大模型不只是算法还涉及环境管理、显存优化、服务部署、监控日志。这些工程技能在实际工作中占的比重很大。深度学习所需要的编程语言主要是 Python但你还得会点 Linux 命令、Docker、基本的网络知识。这些不是选修是必修。7. 从入门到能上手一个可执行的四周计划如果你现在完全零基础我给你一个四周的推进节奏每天投入两小时左右。第一周搞定环境。装好 Python、PyTorch、CUDA跑通一个最简单的神经网络比如手写数字识别。这一周的目标是能跑代码不追求理解多深。遇到报错就查把常见错误过一遍后面会顺很多。第二周啃 Transformer。看the illustrated transformer配合手写一个 mini transformer。不用很大能处理简单序列就行。理解 Q、K、V、多头、位置编码这几个概念能用自己的话讲出来。第三周玩预训练模型。用 Hugging Face 的 transformers 库加载一个开源模型做推理。试试不同的提示词观察输出变化。然后尝试用 LoRA 微调一个小模型数据自己造几十条就行重点是走通流程。第四周做部署。用 Ollama 或者 vLLM 把模型部署起来写一个简单的接口调用它。如果能做成一个能对话的小应用这一轮就算完整了。这四周下来你不会成为专家但会建立起完整的认知地图。之后往哪个方向深入——是微调、是部署、还是应用开发——你心里就有数了。大模型这个领域变化快但底层的东西变化慢。把 Transformer 和 PyTorch 这两块基础打牢后面学什么新模型都是在这个框架上做增量。最后分享一个我自己的习惯建一个自己的踩坑笔记每次遇到报错、解决之后把问题和方案记下来。大模型的环境问题重复率很高这份笔记会帮你省下大量重复排查的时间。我现在的笔记里已经攒了几十条从 CUDA 版本冲突到 tokenizer 的特殊字符处理都是实打实踩出来的。你也可以从今天开始记。
阅读完成 · 觉得有帮助？
