LLM微调实战：LoRA vs QLoRA vs 全参数微调

LLM微调实战：LoRA vs QLoRA vs 全参数微调

全参数微调需要数百GB显存，对大多数团队不现实。LoRA（Low-Rank Adaptation）在原始权重旁添加低秩矩阵，只训练新增参数，显存需求降至全参数的1/3。QLoRA进一步将基础模型量化为4-bit，显存需求再降50%——在RTX 4090上微调7B模型成为可能。

关键经验：LoRA的rank（r）不是越大越好。实测r=16在大多数任务上即可达到全参数微调95%的效果，r=64提升不足2%且训练时间翻倍。另一个易忽略的参数是lora_alpha——它控制LoRA权重的缩放因子，通常设为rank的2倍。用Axolotl或Unsloth框架可以大幅简化微调流程。