【大模型基础（1）】大模型概述

文章目录一、从翻译问题到大模型RNN把句子压缩成一个向量2014年前后RNN 注意力解码时动态回头看2014年Transformer把 RNN 完全扔掉2017年二、三种架构同样是 Transformer用法各不同三、训练范式从读书到能干活四、嵌入文本进入模型的第一步五、思考题参考《图解大模型》第1章核心问题LLM 从哪里来它的本质是什么有哪几种形态一、从翻译问题到大模型把I love llamas翻译成荷兰语Ik hou van lama’s——这个具体问题逼出了过去十年语言AI的所有核心突破。RNN把句子压缩成一个向量2014年前后I → love → llamas ↓ [一个向量] ← 整个句子的摘要 ↓ Ik → hou → van → lamas问题句子越长信息丢失越多——用一张纸条摘要一本书再从纸条复原书必然失真。RNN 注意力解码时动态回头看2014年与其压缩成一个向量不如让解码器生成每个词时动态决定关注输入的哪些部分第一步编码器保留每步隐藏状态 I → h₁ I love → h₂ I love llamas → h₃ hᵢ f(当前词向量, hᵢ₋₁) ← 信息滚雪球式累积 第二步解码器状态 s 对每个 hᵢ 计算相似度softmax 归一化后加权求和 [s·h₁, s·h₂, s·h₃] [0.2, 0.4, 2.1] → [0.05, 0.10, 0.85] c 0.05×h₁ 0.10×h₂ 0.85×h₃ ← 主要关注 llamas → 生成 lamas ✓但 RNN 的根本缺陷仍在序列必须串行处理无法并行训练。Transformer把 RNN 完全扔掉2017年Google 论文 “Attention Is All You Need” 核心思路只用注意力不用 RNN。两大收益①并行化— 所有词同时处理训练速度质变 ②全局视野— 每个词直接关注序列中任意位置这一改变开启了大模型时代。二、三种架构同样是 Transformer用法各不同Transformer 论文提出的是编码器-解码器架构但研究者发现只用一半往往更好仅编码器BERT 类仅解码器GPT 类编解码器T5 类注意力方向双向看全句单向只看左边编码双向解码单向擅长理解、分类、语义搜索生成、对话、代码翻译、摘要、改写代表模型BERT, RoBERTaGPT, LLaMA, QwenT5, BART当前地位特定任务主流★★★★★特定任务为什么各用一半任务决定结构做分类/语义理解 → 只需读懂全句解码器多余去掉它编码器专心学双向语义做文本生成 → 只需预测下一个词编码器多余去掉它解码器专心学自回归生成做翻译/摘要 → 输入输出是两条独立序列才真正需要两套层GPT 为什么不需要编码器翻译是两条序列英 → 荷必须分两套层。续写是同一条序列“The cat sat on the” → “mat”解码器一套层同时完成理解和生成。训练方式以 GPT 为例给模型大量文本让它一直预测下一个词输入: The cat sat on the 目标: cat sat on the mat ← 给定前N个词预测第N1个词任务看似简单但为了预测得准模型必须学会语法、语义、事实、推理——语言背后的一切规律。三、训练范式从读书到能干活预训练 SFT 对齐RLHF/DPO 海量文本预测下一词 → 指令答案对有监督 → 偏好数据符合价值观 学会语言规律 学会听指令 学会什么该说什么不该说 → Base Model → Instruct Model → ChatGPT三步缺一不可Base Model 知识渊博但不会做事SFT 让它能干活对齐让它适合面向公众。四、嵌入文本进入模型的第一步LLM 只处理数字嵌入把文本变成向量Hello → [0.23, -0.15, 0.88, ...] (768维) Hi → [0.21, -0.13, 0.85, ...] ← 向量很接近同义词 Dog → [-0.8, 0.44, -0.12, ...] ← 向量很远无关词不只是词句子、文档、图片都可以嵌入——这是语义搜索、RAG、多模态的共同底层。五、思考题BERT 为什么不能做文本生成提示双向注意力和自回归生成有什么矛盾为什么预训练用预测下一个词而不是其他任务提示数据从哪来需要标注吗GPT-3 没做 SFT能用写一首诗的提示词让它写诗吗提示它的训练目标是续写。