1. 介绍一下你做的这个项目2. LoRA 的基本原理是什么LoRA 的核心思路是,微调大模型时没有必要把整个权重矩阵都更新掉,而是只学习一个低秩的增量。原始权重记作 (W),微调后的权重写成:其中 (A) 和 (B) 的秩都很低,参数量远小于直接更新整个 (W)。训练时冻结原模型参数,只训练这两个小矩阵,这样显存占用、优化器状态和保存体积都会小很多。它适合做领域适配、指令微调这类任务,因为很多任务对模型的改动并不需要覆盖完整参数空间。LoRA 常见会插在 attention 的 q_proj、v_proj 上,有时也会加在 k_proj、o_proj 或 MLP 层。选哪些层,本质上是在表达...