1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

😋😋😋

双非学校， 八股大概看了一遍，该去投中大厂吗，还是继续沉淀再投。

1.问实习2. 项目拷打3. LLM 落地部署有什么好用的 trick？答案：现在 LLM 落地里，很多时候改模型不如先改数据和链路。第一步是把线上 badcase 分桶，区分是检索错、提示词错、模型能力不足、工具返回错还是数据源脏；第二步是做数据闭环，把高频错误变成 SFT、偏好对、规则样本或者评测集；第三步是做推理侧优化，比如 KV Cache、continuous batching、量化、prefix cache 和路由小模型。比较实用的 trick 是不要盲目微调整个模型。很多业务问题是知识更新、格式不稳、证据引用错，这些更适合通过 RAG、结构化输出、后校验和数据清洗解决。只有当错误...