网易互联网

1. 介绍一下你做过的一个项目2. LoRA 的原理以及初始化方法是什么LoRA 的核心是低秩适配。对于原始权重矩阵 (W \in \mathbb{R}^{d \times k})，全参数微调直接更新整个 (W)，成本高、显存占用大。LoRA 认为下游任务需要的更新往往落在一个低秩子空间里，所以把增量写成：W' = W + \Delta W = W + BA其中，并且r≪min⁡(d,k)r≪min(d,k)。训练时冻结原始参数 (W)，只训练 (A) 和 (B)，这样参数量和优化器状态都能显著下降。初始化时通常让 (A) 随机初始化，(B) 初始化为 0，或者相反。这样一开始 (\Delta...