阿里云大模型算法面经

策略梯度算法的公式？

DPO和PPO的损失函数，原理，区别，DPO的探索是如何体现的？

梯度消失，梯度爆炸的根本原因？

模型过拟合的根本原因？有哪些方式缓解过拟合？

大模型分布式训练的通信协议？torchrun是做什么用的？

deepspeed的三个阶段，分配参数时，单机8卡和双机16卡，每张卡上分配的参数量是一样的吗，为什么？

大模型位置编码的方式？旋转位置编码相比于传统正余弦位置编码的区别？为什么要用旋转位置编码？

COT的训练是如何做的，数据如何构造？

预训练时packing和padding的区别，packing的优点和缺点有哪些，哪种效果好一些？

Qwen3的模型架构（详细介绍），相比于Qwen2.5有哪些改进？

同样是MoE架构，Qwen3的MoE架构和DeepSeek的MoE架构有哪些区别？

多模态大模型的ViT，解释原理、如何训练的？

手撕：
1、一道sql题（第一次遇到大模型面试让手撕sql的）
2、手撕transformer（第一次遇到直接说手撕transformer的）