京东-大模型算法实习面经(凉凉
给我面没招了,发点面经攒攒人品~
1.项目拷打
2.拷打八股文:
①介绍一下Qwen系列模型的架构,训练方法。
②讲一下PPO、DPO和GRPO的区别。
③讲一下熵、交叉熵和KL散度的联系。
④讲一下DeepSpeed,DDP和FlashAttention。
⑤讲一下你为什么分类不用MSE。
⑥计算一下Qwen3-8b推理的时候需要多少的显存
⑦讲一下RAG的流程以及可以优化的策略
⑧讲一下PPO中优势是如何计算的。critic模型是如何更新的。
3.拷打实习:奖励函数是如何设计的呢?GRPO前有没有冷启动过程。
4.手撕GQA
1.项目拷打
2.拷打八股文:
①介绍一下Qwen系列模型的架构,训练方法。
②讲一下PPO、DPO和GRPO的区别。
③讲一下熵、交叉熵和KL散度的联系。
④讲一下DeepSpeed,DDP和FlashAttention。
⑤讲一下你为什么分类不用MSE。
⑥计算一下Qwen3-8b推理的时候需要多少的显存
⑦讲一下RAG的流程以及可以优化的策略
⑧讲一下PPO中优势是如何计算的。critic模型是如何更新的。
3.拷打实习:奖励函数是如何设计的呢?GRPO前有没有冷启动过程。
4.手撕GQA
全部评论
相关推荐
03-24 22:39
中国海洋大学 Java 点赞 评论 收藏
分享
查看7道真题和解析 点赞 评论 收藏
分享
03-12 17:47
河南工程学院 Java 点赞 评论 收藏
分享

