美团内推

第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...

我是一块砖，哪里需要哪里搬

个人背景：学院二本计科专业 大二开始实习个人经历：安克创新 、理想汽车、字节跳动碎碎念：我做事只有三分钟热度。看到进了大厂的同学，我会羡慕，也会跟着努力上进；但遇到好看的小说，我又会放下手头的事沉迷其中，之前的坚持也就中断了。我有些自卑，总觉得自己学历和外貌都不够好。之前偶然在网上受到关注，我就喜欢上了上网，因为这里有很多人认可我。但我也很在意别人的评价，偶尔看到嘲讽的言论，会触发我的自卑情绪，让我感到愤怒。有时候我会强硬地回怼，有时候又会懦弱地选择无视。我也有虚荣心。不管是拿到安克、理想还是字节的机会，我在分享的时候都会带着这份心思。我会特意强调自己学历不好，是为了衬托出过程的艰难，以此显得自己更厉害。我知道，人往往会炫耀自己缺少的东西，来掩盖内心的空洞。我总想着走捷径，不太喜欢踏踏实实地做事。找实习的时候，我花了更多时间在研究面试技巧上，而不是提升专业能力。我会反复听面试录音分析技巧，看面试教程学习怎么和不同的面试官沟通，还会每天自言自语练习语言表达，同学都觉得我有点奇怪。我的实习生涯里，侥幸和运气占了很大一部分。我总在想，如果有一天我失去了这份幸运，这些特质可能会让我一蹶不振。ps： 很多人会问我学习路线和经验 但是就像我上面说的 我的实习过程靠的很多是关键节点的运气 技术上面我可能不如很多人  所以请大家理性求助和理性参考我的回答 附上我的投递记录

背景：24届211软件工程专业。中间因为考研二战空档了一段时间，后经人推荐联系到了栗栗姐。因为很久没接触算法题了，在栗栗姐的帮助下准备了比较久的时间。在整个过程中，栗栗姐尽心尽力帮我联系部门，跟相关人员沟通，非常感谢栗栗姐-----还是旧系统面试发的offer了，哈哈哈哈哈。机试：1、高矮个子排队2、报文响应时间3、简易内存池按栗栗姐发的题库刷就可以，跟力扣上的很多题思路类似，刷的同时也练习了手撕。资格面试：1、自我介绍2、来base地的原因3、空窗期的原因4、大致介绍一下项目5、期望薪资之后就是反问环节了，可以问问培养计划之类的问题。技术一面：首先是自我介绍，之后聊聊了项目问题，开始问八股，...