第 15 题:LoRA(Low-Rank Adaptation)的数学原理 题目 解释 LoRA(Low-Rank Adaptation)微调的数学原理。 一、动机 全量微调大模型要更新全部参数,显存与算力成本高。LoRA 假设预训练权重在适应新任务时,有效更新是低秩的,因此只学习一个低秩增量,与原权重相加得到适应后的权重,从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ,。LoRA 不直接改 ,而是增加低秩分解的增量: 其中 ,, 为秩。前向时: 训练:只训练 、, 冻结;参数量从 变为 。 推理:可把 算好存成一张矩阵,等价于单层线性,无额外延迟;或保留 分开算...