24-QLoRA与AdaLoRA-把微调显存再压一半

QLoRA 与 AdaLoRA：把微调显存再压一半，以及 rank 该给谁【大模型面试通关手册 · 第 24 篇】本篇覆盖：QLoRA 的四个组件（NF4 / 双量化 / 分页优化器 / bf16 计算）、NF4 为什么是正态分布下的最优、双量化的位数账、四个规模的真实显存、为什么慢却效果不掉；AdaLoRA 的 SVD 参数化、敏感性重要性评分、预算调度与正交正则；LoRA 四个改进方向的定位（LoRA 篇 3 题 + PEFT 篇 Q7）一、面试现场：3 道题，4 句话，但技术密度最高素材里这一组只有三题：“QLoRA 的思路是怎么样的？”（2.1）“QLoRA 的特点是什么？”（2.2）“AdaLoRA 的思路是怎么样的？”（3.1）答案加起来只有四句：题素材原文要点QLoRA 思路① 用一种新颖的高精度技术把预训练模型量化为 4 bit；② 加一小组低秩适配器，通过量化权重的反向传播梯度微调QLoRA 特点显著降低显存要求；训练速度慢于 LoRA