05-05 18:55 门头沟学院 算法工程师
关注
27实习OPPO大模型算法面经分享
发点面经攒攒人品～
1.问项目
2.Peft除了lora还有哪些方法
3.lora的a b两个矩阵怎么初始化？两个初始化可以置换吗？
4.Lora有哪些超参数，如果rank变化的话，a对应应该怎么变化
5.有什么优化显存的方法，比如给你8张A100，训一个32b的模型，0om了怎么解决
6.为什么梯度累积的方法可以节约显存？
7.有什么自动化优化prompt的方法？基于梯度的和基于反思的？
8.手撕：给了一份LoRa微调的代码，挖了七八个空填空
包括初始化，冻结参数，替换lora层等。
1.问项目
2.Peft除了lora还有哪些方法
3.lora的a b两个矩阵怎么初始化？两个初始化可以置换吗？
4.Lora有哪些超参数，如果rank变化的话，a对应应该怎么变化
5.有什么优化显存的方法，比如给你8张A100，训一个32b的模型，0om了怎么解决
6.为什么梯度累积的方法可以节约显存？
7.有什么自动化优化prompt的方法？基于梯度的和基于反思的？
8.手撕：给了一份LoRa微调的代码，挖了七八个空填空
包括初始化，冻结参数，替换lora层等。
全部评论
相关推荐
05-12 15:20
三峡大学 大数据开发工程师 点赞 评论 收藏
分享
05-19 16:41
复旦大学 Python ynq2126：我一直觉得现在考算法题没啥意义 真要选拔人才不如把公司实际项目中遇到的问题当成一系列场景题抛给求职者答 这才是能检测能力的东西
点赞 评论 收藏
分享
点赞 评论 收藏
分享