★ FEATURED ARTICLE 简介这份PDF资料整理自字节跳动大模型算法岗一面、二面、三面的真实面试记录面向准备冲击大厂算法岗位的求职者尤其是已有一定深度学习基础、希望系统梳理大模型知识体系的中高级候选人。内容按面试轮次组织一面聚焦Transformer与LLaMA的LN差异、RMSNorm与FFN手写、数据清洗流程、PPL公式、位置编码及prompt范式等基础与论文细节二面深入数据配比策略、主流LLM结构设计、模型评估、工具调用实现与推理能力边界三面覆盖硬件利用率、DeepSpeed分片阶段与代价、DP与DDP区别、训练监控、预训练与SFT评估、decoding策略及cross-attention手撕。资源包仅含1个PDF文件大小约75KB轻量便携适合通勤或面试前快速翻阅。目前已有175人学习可帮助读者对照自身薄弱环节查漏补缺理解面试官追问逻辑提前准备论文拷打与开放性问题应答思路。1. 大模型算法岗三面连轴转先看清考什么再决定背什么大模型算法岗的面试很多人栽在“以为会考八股结果全程在拷打论文和工程细节”。这场一面到三面的流程里手撕代码只占一小块真正拉开差距的是你能不能把 Transformer 结构差异、数据清洗策略、分布式训练代价、模型评估方法讲成一条自洽的线。一面上来就问 LN 和 RMSNorm 的区别、FFN 里 ReLU 和 SwiGLU 怎么选接着让你写 RMSNorm、写 SwiGLU再追问数据清洗的质量过滤用什么模型、PPL 公式怎么推。二面转向数据配比思路、主流 LLM 结构特点、工具调用实现、推理能力天花板。三面直接压到硬件利用率、DeepSpeed 分片阶段、DP 与 DDP 区别、训练时间估计、模型监控。整场面试的拿分逻辑很清楚结构题要答出“为什么这么设计”数据题要答出“策略和量化”工程题要答出“代价和监控”。适合正在准备大模型算法岗、手里有论文但不知道怎么被追问的人也适合刷过八股但一被追问就露怯的人。下面按考点模块拆开讲每块都落到真题怎么答、哪里容易翻车。2. 模型结构高频考点LN 与 RMSNorm、FFN 变体、位置编码怎么答不翻车2.1 LN 和 RMSNorm 的区别面试官想听的是“减了什么、省了什么”一面第一题就是 Transformer 和 LLaMA 的 LN 有什么区别。这类题通常这么答先定位归一化位置Post-LN 在残差之后归一化Pre-LN 在子层输入前归一化LLaMA 用的是 Pre-Norm 结构训练更稳定深层堆叠不容易梯度爆炸。再落到 LayerNorm 和 RMSNorm 的公式差异LayerNorm 同时减均值、除标准差再乘缩放加偏移RMSNorm 只除均方根不减均值也通常不加偏移。面试官最想听的是“为什么可以去掉均值和偏移”——大模型里归一化的主要作用是控制激活尺度减均值带来的收益有限去掉后计算更省且实验上效果不降。答题时把“位置、公式、代价、实验结论”四件事说全基本就稳了。手写 RMSNorm 是常见手撕题别只写个除法就交卷。下面这段是带注释的参考写法import torch import torch.nn as nn class RMSNorm(nn.Module): def __init__(self, dim, eps1e-6): super().__init__() self.eps eps # 可学习的缩放参数初始化为全1 self.weight nn.Parameter(torch.ones(dim)) def forward(self, x): # 按最后一维计算均方根keepdim保持维度便于广播 rms torch.sqrt(torch.mean(x.pow(2), dim-1, keepdimTrue) self.eps) # 归一化后乘缩放参数 return x / rms * self.weight这段代码的关键在dim-1和keepdimTrue归一化沿特征维做保持维度才能和原张量广播。eps放在均方根里面而不是外面是为了防止全零输入时除零。面试时如果被追问“和 LayerNorm 代码差在哪”直接指出少了减均值那一步、少了 bias 参数计算量大约省一半的逐元素操作。易错点是有人把eps加到根号外或者忘了weight初始化这两种写法面试官一眼能看出来。2.2 FFN 里 ReLU 和 SwiGLU 的差别别只背“效果更好”FFN 的题通常连着问标准 Transformer 的 FFN 是两层线性加 ReLULLaMA 换成 SwiGLU 后有什么不同。答题框架是“门控结构 参数量补偿 实验收益”。SwiGLU 的形式是(xW1) ⊗ swish(xW3)再乘W2多了一个门控分支表达能力强于单路 ReLU但参数量也上去了所以实际实现里会把中间维度从 4d 缩到约 8/3 d 来对齐总参数量。面试官追问“为什么用 swish 不用 ReLU”答“swish 平滑、非单调梯度性质更好配合门控在大模型上收敛更稳”就够了不要展开成激活函数综述。手写 SwiGLU 时注意门控是逐元素乘不是拼接import torch import torch.nn as nn import torch.nn.functional as F class SwiGLUFFN(nn.Module): def __init__(self, dim, hidden_dim): super().__init__() # 门控分支和值分支各一个线性层 self.w1 nn.Linear(dim, hidden_dim, biasFalse) self.w3 nn.Linear(dim, hidden_dim, biasFalse) # 输出投影回原维度 self.w2 nn.Linear(hidden_dim, dim, biasFalse) def forward(self, x): # swish门控sigmoid(x)*x再与值分支逐元素相乘 gate F.silu(self.w1(x)) value self.w3(x) return self.w2(gate * value)F.silu就是x * sigmoid(x)和 swish 等价。三个线性层都不带 bias 是 LLaMA 系列的常见做法答题时提一句“去 bias 减少参数、对效果影响很小”会加分。易错点是把门控和值分支搞反或者用torch.sigmoid忘了乘x这两种在纸面上不明显面试官让你口述一遍前向就露馅。2.3 位置编码和 BERT 预训练任务老考点新问法位置编码常和 BERT 一起问。BERT 用的是可学习绝对位置编码有最大长度限制现在主流 LLM 多用 RoPE通过旋转矩阵把相对位置信息编码进注意力长度外推能力更好。答题时把“绝对 vs 相对、可学习 vs 固定公式、外推性”三条对比说清即可。BERT 预训练任务要答出 MLM 和 NSP并补一句“NSP 后来被认为收益有限很多后续模型去掉了”显示你知道演进脉络。Embedding 部分问的是 token embedding、位置 embedding、segment embedding 怎么相加答“逐元素相加后过 LayerNorm 或直接进编码器”就行别把 BERT 和 GPT 的 embedding 细节混在一起说。3. 数据与训练策略真题清洗流程、配比思路、评估方法逐题拆解3.1 数据清洗流程质量过滤模型和 PPL 公式要能落到公式一面和二面都问了数据清洗流程说明这是高频中的高频。答题按“采集→去重→质量过滤→安全过滤→配比”这条线走重点停在质量过滤。质量过滤常见做法有两类基于规则的启发式过滤长度、符号比例、重复 n-gram 比例和基于模型的质量打分。模型侧常用轻量分类器或困惑度过滤PPL 公式要能写出来PPL exp( - (1/N) * Σ log P(w_i | w_i) )也就是平均负对数似然的指数。PPL 越低说明语言模型越“不意外”文本越流畅。用 PPL 过滤时通常保留 PPL 处于中间区间的数据过高说明不通顺过低可能是模板化或重复内容。面试官追问“用什么模型算 PPL”答“用一个小规模语言模型在目标语料上打分按分位数卡阈值”即可不要编造具体模型名。易错点是只背“用 PPL 过滤”却写不出公式或者把 PPL 和准确率混为一谈。3.2 数据配比思路要讲“分层 消融 量化”二面问“数据配比能说下思路吗”三面又追问“数据配比怎么量化才是一个好的方案”这是同一考点的两次加压。答题分三层第一层说配比维度按来源网页、代码、书籍、问答、按语言、按质量分档第二层说确定方式先小规模消融实验固定总 token 数调各来源比例看验证集 loss 和下游任务表现第三层说量化指标不能只看 loss要看分领域 benchmark、困惑度分布、以及训练后的能力短板。好的配比方案不是一次定死而是随训练阶段调整预训练前期重通用语料后期提高高质量和领域数据比例。面试官最想听的是“你有实验闭环”而不是“网上说代码占多少”。3.3 如何评估 LLM预训练和 SFT 要分开答“如何评估 LLM”这题范围很大答不好就散。正确切法是分阶段预训练阶段看验证集 loss、PPL、分领域 PPL以及小样本下游任务探针SFT 阶段看指令遵循、人工评测、成对比较胜率、以及安全性和拒答率。再补一句“自动指标和人工评测要结合自动指标便宜但和人类偏好相关性有限”。如果被追问“训 LLM 最大的困难是什么”从数据质量与配比、训练稳定性、评估滞后、算力成本四个角度挑两个展开别泛泛说“数据量大”。4. 工程与分布式失分点DeepSpeed、DP/DDP、训练监控这些题最容易答飘4.1 易错点一DeepSpeed 几个阶段分片什么、代价是什么只答名字不给代价这题三面必问翻车率极高。错在哪很多人背出 ZeRO-1/2/3 分别分片优化器状态、梯度、参数就停住了。为什么错面试官问的是“代价”你只给名词等于没答。怎么答对按阶段说清分片对象和通信代价。ZeRO-1 分片优化器状态通信量和数据并行差不多ZeRO-2 再分片梯度反向传播时多一次 reduce-scatterZeRO-3 再分片参数前向反向都要 all-gather 参数通信开销最大但显存最省。再补一句“阶段越高显存越省、通信越重要结合卡数和带宽选”。这样答才完整。4.2 易错点二DP 和 DDP 的区别答成“一个多卡一个单卡”错在哪把 DP 说成单卡方案或者只说 DDP 更快。为什么错DP 也是多卡区别在并行方式和通信效率。怎么答对DP 是单进程多线程每步把模型复制到各卡、汇总梯度回主卡更新主卡显存和通信是瓶颈DDP 是多进程每卡一个进程用 all-reduce 同步梯度通信和计算重叠扩展性更好。再补一句“现在训练基本用 DDP 或 FSDPDP 更多是历史方案”。这题答出“进程模型 通信方式”两个关键词就够。4.3 易错点三训练时间估计和硬件利用率只给公式不给假设“模型训练时间如何估计”这题错在只写总 token 数 / 吞吐。为什么错吞吐从哪来、利用率多少、通信占比多少都没说。怎么答对先估单卡每秒处理的 token 数再乘卡数乘利用率得到有效吞吐总时间等于总 token 除以有效吞吐再除以并行效率。硬件利用率要提 MFU即实际算力占峰值算力的比例大模型训练常见区间不高通信和显存等待都会拉低。被问“最多用过多少张卡”时如实说规模重点讲你在这个规模下怎么调并行策略和监控而不是比数字。4.4 易错点四模型监控只答 loss 曲线错在哪监控只盯 loss。为什么错大模型训练出问题往往先体现在梯度、激活、数据侧。怎么答对分三层说。指标层看 loss、学习率、梯度范数、参数范数系统层看显存占用、吞吐、通信耗时、卡间负载均衡数据层看输入长度分布、token 分布、异常样本比例。再补一句“发现 loss 尖刺先查数据批次和梯度范数再查学习率策略”。这题答出分层监控面试官就知道你真跑过训练。5. 开放题与手撕收尾端到端 vs 多小模型、工具调用、cross-attention 怎么讲出层次5.1 端到端大模型和多个小模型优缺点要对着场景说一面开放题问端到端大模型和多个小模型各自的优缺点。答题别站队按“能力上限、成本、可控性、迭代速度”四个维度对比。端到端大模型上限高、泛化好、链路短但训练和推理成本高、出错难定位、迭代慢多个小模型组合成本低、每个模块可独立优化和监控、容易做兜底但链路长、误差累积、整体上限受限于各模块。面试官最想听的是“你怎么选”任务边界清晰、对延迟和成本敏感就用小模型组合任务开放、需要强泛化就用端到端或者用大模型做兜底。能补一句“混合方案也常见”更好。5.2 工具调用怎么实现答出“协议 解析 执行 回填”四步二面问工具调用怎么实现这题考的是工程理解。答题按四步走定义工具描述和调用协议让模型输出结构化调用请求解析模型输出校验参数合法性执行工具并拿到结果把结果回填到上下文让模型继续生成。再补一句“难点在格式稳定性和错误处理通常用约束解码或后处理校验”。不要展开成某个框架的使用教程面试官要的是链路理解。5.3 手撕 cross-attention形状和 mask 是得分点三面手撕 cross-attention比自注意力多一个来源不同的 K/V。参考写法如下import torch import torch.nn as nn import torch.nn.functional as F class CrossAttention(nn.Module): def __init__(self, dim, num_heads): super().__init__() self.num_heads num_heads self.head_dim dim // num_heads # query来自解码器key/value来自编码器 self.q_proj nn.Linear(dim, dim) self.k_proj nn.Linear(dim, dim) self.v_proj nn.Linear(dim, dim) self.out_proj nn.Linear(dim, dim) def forward(self, x, context, maskNone): B, T, D x.shape S context.shape[1] # 分头batch, head, seq, head_dim q self.q_proj(x).view(B, T, self.num_heads, self.head_dim).transpose(1, 2) k self.k_proj(context).view(B, S, self.num_heads, self.head_dim).transpose(1, 2) v self.v_proj(context).view(B, S, self.num_heads, self.head_dim).transpose(1, 2) # 缩放点积注意力scale用head_dim scores torch.matmul(q, k.transpose(-2, -1)) / (self.head_dim ** 0.5) if mask is not None: # mask形状需可广播到 batch, head, T, S scores scores.masked_fill(mask 0, float(-inf)) attn F.softmax(scores, dim-1) out torch.matmul(attn, v) # 合并多头 out out.transpose(1, 2).contiguous().view(B, T, D) return self.out_proj(out)关键点有三个Q 来自解码器输入xK/V 来自编码器输出context所以序列长度 T 和 S 可以不同缩放因子用head_dim的平方根mask 要能广播到batch, head, T, S。面试时如果时间紧先把形状变换和 mask 写对再补缩放比一上来堆代码更稳。易错点是把 K/V 也从x投影那就变成自注意力了。5.4 decoding 策略和文本输入到输出的过程按流水线讲“讲一下文本输入大模型到输出的过程”这题按 tokenize→embedding→多层注意力与前馈→输出 logits→decoding 这条线讲。Decoding 策略要能区分贪心、beam search、top-k、top-p、温度采样的适用场景贪心稳定但单调beam search 适合翻译类确定性任务top-k/top-p 加温度适合开放生成。面试官追问“推理能力天花板”时答“受训练数据、推理链长度、以及解码策略共同限制当前更多靠思维链和工具调用扩展而不是单纯堆参数”点到为止别展开成观点输出。6. 三面连轴的答题节奏把每道题答成“结论 原因 代价”三段式这场面试从一面到三面题目跨度大但答题结构可以统一成三段式先给结论再说原因最后补代价或适用条件。结构题如 RMSNorm结论是“只除均方根不减均值”原因是“控制尺度足够、计算更省”代价是“对某些分布偏移的鲁棒性略弱于 LN”。数据题如配比结论是“分层消融定比例”原因是“不同来源能力互补”代价是“消融实验要额外算力”。工程题如 ZeRO-3结论是“分片参数省显存”原因是“前向反向 all-gather”代价是“通信开销最大”。三段式的好处是面试官追问任何一段你都有下一层不会一句话答完冷场。下面这张表可以考前过一遍把高频题和答题落点对上高频题答题落点常见追问LN 与 RMSNorm 区别位置、公式、去均值代价手写 RMSNormReLU 与 SwiGLU门控结构、参数量补偿手写 SwiGLU数据清洗质量过滤规则 模型打分、PPL 公式PPL 阈值怎么定数据配比分层、消融、量化指标怎么判断配比好坏DeepSpeed 阶段分片对象 通信代价ZeRO-3 为什么慢DP 与 DDP进程模型 通信方式为什么 DDP 扩展性好训练时间估计有效吞吐 MFU利用率怎么提模型监控指标层、系统层、数据层loss 尖刺怎么查cross-attentionQ 与 K/V 来源、mask 形状和自注意力区别时间分配上一面手撕两道 easy 题别恋战留时间把结构题讲透二面没有手撕全程口述遇到“主流 LLM 结构设计有什么特点”这种大题挑三四个模型说差异比如 Pre-Norm、RoPE、SwiGLU、GQA每个一句话带过再深入一个三面硬件和分布式题多不会的别硬编先说“这块我实际接触的是哪个层面”再把知道的监控和调参经验讲出来面试官通常更看重边界诚实和工程直觉。我自己早期准备这类面试时习惯把每个考点背成一段话结果一被追问“代价是什么”就卡住。后来改成每道题强制走一遍“结论、原因、代价”三问哪怕答得慢一点也不会出现背了却接不住的情况。考前拿上面那张表逐行自问自答卡住的就回去补公式和代码比通读资料有效得多。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
