鹅厂LLM算法 日常实习一面
攒人品中,祝大家都能拿到满意的Offer!
1.项目介绍
2.知识蒸馏,软硬标签怎么提,loss怎么算
3.lora和qlora
4.deepspeed
5.模型显存占用估算
6.训练加速模块,如flash attention
7.vllm为什么更快
8.挑个大模型介绍下
9.为什么GQA好
10.加lora计算量怎么变化
11.强化学习框架
12.kl散度
13.手撕:lora,经典接雨水
1.项目介绍
2.知识蒸馏,软硬标签怎么提,loss怎么算
3.lora和qlora
4.deepspeed
5.模型显存占用估算
6.训练加速模块,如flash attention
7.vllm为什么更快
8.挑个大模型介绍下
9.为什么GQA好
10.加lora计算量怎么变化
11.强化学习框架
12.kl散度
13.手撕:lora,经典接雨水
全部评论
相关推荐
福狼🐺:一定要学AI,现在绝大部分公司都转型ai为主懂编程的人为辅了。以后比的是谁的工作流、代码理解、架构理解、业务理解厉害了 点赞 评论 收藏
分享
查看6道真题和解析