★ FEATURED ARTICLE 文章目录1、什么是LLM2、Transformer模型的核心组件是什么原理是什么核心组件原理3、常见的大语言模型有哪些4、DeepSeek与GPT相比优势在哪里5、大模型为什么大多数都是 Decoder-onlyDecoder-only 模型擅长生成任务为什么可以去掉Encoder6、 如何解决大模型的幻觉问题7、什么是大模型中上下文窗口8、 有哪些技术可以控制 LLM 的输出9、有哪些方法可以降低 LLM 的计算成本10、自回归模型 vs. 掩蔽语言模型11、 大语言模型的预训练与微调12、检索增强生成RAG流程关键步骤13、思路链CoT如何提升 LLM 的推理能力14、AI Agent 是什么包含哪些重要组成部分1、什么是LLM类别详情定义基于深度学习拥有海量参数数十亿甚至上万亿经大规模文本数据预训练掌握自然语言知识具备强大语言处理能力技术特点1.参数规模大可捕捉复杂语言模式提升任务表现2.采用Transformer架构利于并行计算处理长序列和复杂语义能力强3.通过大规模预训练利用海量多样文本数据提取通用语言特征主要能力1.理解能理解文本语义、句法和上下文应用于阅读理解、情感分析等任务2.生成可根据提示生成连贯、高质量文本3.推理依据知识和文本进行推理解答逻辑与知识整合问题代表性模型GPTOpenAI开发文本生成能力突出BERT谷歌开发擅长自然语言理解任务T5谷歌开发任务通用性、灵活性强2、Transformer模型的核心组件是什么原理是什么核心组件核心组件说明自注意力机制计算输入中各位置关联确定当前位置权重聚焦关键部分如分析句子时可判断词间关系多头注意力多个自注意力头并行运作从不同角度获取语义汇总后丰富特征前馈神经网络对注意力输出进行非线性处理增强模型表达力由两个线性层和一个激活函数构成位置编码因Transformer本身无法感知位置将位置信息融入输入助模型分辨元素位置残差连接在网络层间添加直接连接把输入传递到后续层解决梯度消失问题利于模型学习层归一化对每层输入进行归一化加快模型训练速度提升模型稳定性与泛化性原理编码输入序列经词嵌入转成向量加上位置编码。编码器有多个层每层含多头注意力和前馈神经网络。自注意力算位置依赖、定权重结果进前馈神经网络提取特征残差连接和层归一化助力训练。解码解码器由多层构成。生成目标序列时依据已生成内容和编码器输出经自注意力、对编码器输出的注意力及前馈神经网络预测下一词。训练时计算预测与真实的损失用反向传播更新参数。并行计算自注意力和前馈神经网络等可并行运算极大提升训练和推理效率能高效处理大量自然语言数据。3、常见的大语言模型有哪些Deepseek深度求索、GPT系列OpenAI比如GPT-4、GPT-4o、GPT-o1等、LLaMAMeta比如LLaMA-2、LLaMA-3等、ClaudeAnthropic。4、DeepSeek与GPT相比优势在哪里方面内容成本上1. 训练时 DeepSeek 能高效利用 GPU 等资源用较少资源与时间完成训练不像 GPT 那样花费巨大。2. 推理时混合专家架构如同多个专属小助手**按需调用**不浪费精力与资源显存占用少。使用成本也更低价格亲民。技术架构上1.MLA 注意力机制像聪明侦探处理长序列数据时精准定位关键信息跳过无用部分节省算力。2.MoE 结构如同超大型智囊团专家不断增多各有所长遇到问题能快速匹配专家高效整合方案复杂任务处理能力强。开源与定制化方面DeepSeek 乐于开源分享成果让大家共同改进。同时支持定制像量体裁衣的裁缝按企业和机构特殊需求灵活调整。应用场景上DeepSeek 专注中文学习大量中文资料针对中文语法、语义特点优化处理中文任务堪称专家。数据安全上DeepSeek 可本地部署如同把重要物品存自家保险箱完全由用户掌控数据安全与隐私更有保障。5、大模型为什么大多数都是 Decoder-onlyDecoder-only 模型擅长生成任务Decoder-only 模型擅长生成任务如文本生成、对话而生成任务是大模型的主要应用场景。去掉 Encoder 后模型结构更简单训练和推理效率更高。Decoder-only 模型通过语言建模目标如预测下一个词进行预训练数据利用率高。综上Decoder-only 架构简单高效特别适合生成任务因此被广泛采用。 ✅为什么可以去掉Encoder生成任务不需要 EncoderDecoder 直接利用上下文预测下一个词无需单独编码输入。训练方式更高效采用自回归语言模型(?)只基于前文预测后文数据利用率高计算更省。计算和存储成本更低少一个 Encoder减少计算量和显存占用推理速度更快。适合大规模预训练用因果语言建模方式训练扩展性强适用于大规模数据学习。6、 如何解决大模型的幻觉问题幻觉问题Hallucination指大模型生成的内容与事实不符或与输入无关比如虚构事实、编造信息、过度自信等。解决办法引入事实核查对生成内容进行验证。使用高质量数据训练减少错误信息的学习。结合外部知识库如 RAG提供准确可靠的参考信息。✅目标是提高生成内容的真实性和可靠性减少错误信息的出现。7、什么是大模型中上下文窗口大模型中的上下文窗口简单来说就像是模型的 “视野范围”。在自然语言处理任务中模型不是孤立地看待每个单词或句子而是会考虑一定范围内的前后文信息这个范围就是上下文窗口。它以标记token或单词为单位来衡量比如一个上下文窗口大小为 2048 个标记意味着模型在处理当前文本时会同时考虑前面 2048 个标记的内容。token越多能够处理的消息就越多。但对GPU要求更好降低推理速度所以需要平衡窗口大小与模型性能、效率。8、 有哪些技术可以控制 LLM 的输出方法作用机制适用场景温度Temperature控制输出的随机性低温度 → 选择最高概率词输出更确定高温度 → 结果更多样化精确任务低温度创造性任务高温度Top-K 采样限制选择范围避免无意义词仅从前 K 个最可能的词采样减少不相关输出摘要生成、报告撰写Top-P核采样动态选择最具确定性的词设定P 值从累积概率超过 P 的词集中采样平衡多样性与一致性对话、文学创作提示工程Prompt Engineering通过优化输入引导模型输出直接指令、Few-shot 示例提供明确上下文指令式任务、对话优化控制标记Control Tokens通过特殊标记控制风格、格式在输入中添加[Happy]、[Sad]等标记或要求 JSON 格式输出JSON 结构化输出、情感控制、风格调整9、有哪些方法可以降低 LLM 的计算成本方法作用机制适用场景模型修剪Pruning删除不重要的权重或神经元去除对结果影响较小的参数减少计算量轻量化推理、移动端部署量化Quantization降低模型参数精度32-bit → 8-bit 计算减少内存占用、加速推理低功耗设备、边缘计算知识蒸馏Distillation训练小模型模仿大模型让小模型学生学习大模型教师的行为保留关键能力服务器端优化、在线推理稀疏注意力Sparse Attention限制注意力计算范围只计算部分 Token 之间的关联减少计算量处理长文本、降低计算开销高效架构Efficient Architectures设计优化的模型结构使用 Reformer、Longformer 等架构减少计算需求长序列处理、低资源环境10、自回归模型 vs. 掩蔽语言模型模型类型预测方式适用任务代表模型自回归模型根据前文逐步预测下一个词适合文本生成如对话、创作GPT-3、GPT-4掩蔽语言模型随机掩盖部分词汇并预测其内容适合文本理解如分类、问答BERT✅自回归擅长生成掩蔽语言模型擅长理解各有侧重11、 大语言模型的预训练与微调阶段训练方式作用示例预训练大规模无监督学习如预测下一个词让模型掌握通用语言规律、语法、语义和推理能力GPT 预训练阶段学习海量文本微调任务特定的小规模标注数据训练让模型适应特定任务提高表现针对医疗、法律等领域进行微调✅预训练构建通用能力微调让模型更专注特定任务12、检索增强生成RAG流程关键步骤步骤作用说明检索获取相关信息对查询进行编码与知识库中的预计算嵌入比对检索最相关的文档排名提高信息质量对检索出的文档按相关性排序确保优先使用高质量信息生成结合上下文生成答案让大模型参考排名靠前的文档生成更精准、更符合事实的回答✅RAG 结合检索与生成使 LLM 具备更强的事实性和知识覆盖能力13、思路链CoT如何提升 LLM 的推理能力方式作用说明生成中间推理步骤让模型逐步推理而非直接给出答案模拟人类思考过程拆解复杂问题减少错误增强逻辑推理能力让模型**思考“为什么”**而非仅给结论适用于数学、推理、逻辑分析类任务提高回答的可解释性使回答过程透明化便于用户理解和验证答案的正确性✅CoT 让 LLM 不再“凭直觉”作答而是像人类一样层层推理提高准确性14、AI Agent 是什么包含哪些重要组成部分AI Agent 是能够感知环境、自主决策并执行动作以实现特定目标的智能系统。组成部分作用说明感知模块获取环境信息通过传感器或数据输入文本、图像等感知外部环境决策模块计算最优行动采用规则、机器学习或强化学习算法进行推理和决策行动模块执行决策通过输出、机械动作或代码调用影响环境学习模块可选自我优化通过环境反馈不断调整策略提高智能化水平✅AI Agent 具备感知、决策、行动能力可应用于自动驾驶、智能助手、机器人等领域
阅读完成 · 觉得有帮助？
