阿里云商业技术支持

第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...

现在回看当时的决定，半个月前放弃百度offer的自己，真的很勇敢。当时距离入职百度只剩5天，身边所有人都在劝我：“稳一点，先去百度吧。” 但只有我清楚，我想要的不只是“还不错”。于是我咬咬牙，拒掉了offer，决定全力all in暑期实习。其实我也不是一时冲动——三月底我就已经把面试准备得比较充分了，只是求职之路哪能顺风顺水？当时在走的流程因为匹配度不够挂掉了，好在面评还不错，我也早就做好了打多轮复活赛的准备。也许是命运垂青这份勇敢，我在第二次字节复活赛就成功上岸了。很多人眼里的“孤注一掷”，从来都不是盲目冒险。面临和我一样纠结的同学，不妨拼一把，去争取自己真正想要的东西。但也想认真说一句：能拿着保底找工作当然是最好的。我当时的情况是三月几乎没有其他面试机会，这个offer必须四月初到岗，而四月的面试机会反而更多，保底对我来说其实已经没什么缓冲作用了，所以我是充分权衡后才做出的决定。大家千万别盲目学我直接拒掉保底，一定要结合自己的情况慎重考虑呀。

能投什么企业

一、项目 1、Redis 全局唯一 ID，为什么生成这个 ID，这个 ID 的含义是什么（疯狂追问），这个 ID 有什么用（拷打追问：1、为什么不直接再 MySQL 中用自增 ID（因为我在 redis 中用的自增 ID 来唯一标识）） 2、你是如何解决 Redis 解决超卖的思路（Lua 脚本 + 预扣库存（消息队列）+ 乐观锁（乐观锁我回答可以用库存扣减大于 0、还可以用一个字段来标识这行数据来判断是否有并发同时扣减问题，然后就一直追问这个字段是什么）） 3、Redis 消息发送失败的处理方式 4、推送/拉取模式，为什么选择推模式（拷打，先说的用户少所以用推，追问粉丝量大怎么办，我说推拉结...