27实习OPPO大模型算法面经分享
发点面经攒攒人品~
1.问项目
2.Peft除了lora还有哪些方法
3.lora的a b两个矩阵怎么初始化?两个初始化可以置换吗?
4.Lora有哪些超参数,如果rank变化的话,a对应应该怎么变化
5.有什么优化显存的方法,比如给你8张A100,训一个32b的模型,0om了怎么解决
6.为什么梯度累积的方法可以节约显存?
7.有什么自动化优化prompt的方法?基于梯度的和基于反思的?
8.手撕:给了一份LoRa微调的代码,挖了七八个空填空
包括初始化,冻结参数,替换lora层等。
1.问项目
2.Peft除了lora还有哪些方法
3.lora的a b两个矩阵怎么初始化?两个初始化可以置换吗?
4.Lora有哪些超参数,如果rank变化的话,a对应应该怎么变化
5.有什么优化显存的方法,比如给你8张A100,训一个32b的模型,0om了怎么解决
6.为什么梯度累积的方法可以节约显存?
7.有什么自动化优化prompt的方法?基于梯度的和基于反思的?
8.手撕:给了一份LoRa微调的代码,挖了七八个空填空
包括初始化,冻结参数,替换lora层等。
全部评论
相关推荐
查看17道真题和解析 点赞 评论 收藏
分享
查看1道真题和解析 点赞 评论 收藏
分享
投票
185黑皮师范生:等ai真能替代这些岗位了,那基本其它所有涉及到电脑办公的岗位都要先被替代掉,何必宣传焦虑,搞得研发核心竞争力就是作为一个code machine一样
点赞 评论 收藏
分享
