兆易创新25内推码 NTA6pTm

第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...

，有没有什么老主神学，祝我一臂之力

已拉黑：美团，百度，米哈游已点赞：快手，网易，众安，字节跳动，蚂蚁ttl：3.16投递-3.25 一面-3.30 二面-3.31 hr面-4.2 oc

一、互联网简历泡池子：美团、京东、蚂蚁简历挂：字节、阿里、快手、拼多多一面挂：腾讯收到offer: 智源人工智能研究院、小红书二、硬件厂一面挂：寒武纪、momenta、地平线三、总结原本计划提前离职待出租房全力找工作，但提离职时mentor和我说，可以在公司边待边找，公司里的任务不急，可以抽出一半时间准备面试，且公司里的电话亭也可以用来面试，所以我也就欣然同意了。没想到在这样的条件下，都感觉找工作页贼焦虑，有点不敢想全职找得焦虑成啥样。小红书二面后也经历了“暂不合适”，好在最后被捞起来了，然后五一前收到了书面offer，最后也是决定去这儿。离职的时候还和大家说了说投递情况，他们觉得我投递的方向...