1. 什么是 LoRA?LoRA 全称是 Low-Rank Adaptation,核心思想是在微调大模型时不直接更新原始大权重矩阵,而是冻结预训练权重,只额外学习两个低秩矩阵,用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是: W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵,而是写成: ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成: h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么?LoRA 的基本假设是:大模型在迁移到下...