1. 介绍一下你做过的一个项目2. LoRA 的原理以及初始化方法是什么LoRA 的核心是低秩适配。对于原始权重矩阵 (W \in \mathbb{R}^{d \times k}),全参数微调直接更新整个 (W),成本高、显存占用大。LoRA 认为下游任务需要的更新往往落在一个低秩子空间里,所以把增量写成:W' = W + \Delta W = W + BA其中,并且r≪min(d,k)r≪min(d,k)。训练时冻结原始参数 (W),只训练 (A) 和 (B),这样参数量和优化器状态都能显著下降。初始化时通常让 (A) 随机初始化,(B) 初始化为 0,或者相反。这样一开始 (\Delta...