MiniMax AI Infra实习一面

发一下问题给大家参考，攒攒人品！有面试过同岗的朋友欢迎评论区交流
项目深挖
1. 请介绍你的实习项目和研究工作

理论基础
2. SFT 和 RLHF 的训练目标在本质上有何不同？为什么大多数模型做完 SFT 之后还要再经过 RLHF 阶段？
3. MoE 模型中路由模块是怎样决定将 token 分配给哪些专家的？什么原因会导致专家之间的负载出现严重不均？
4. 当部分专家的利用率明显偏低时，可以通过哪些手段改进路由策略来提高利用率？
5. 请介绍你比较熟悉的大模型架构，并从注意力计算、训练方法和推理效率等维度分析它们之间的主要差异
6. PPO 在 RLHF 框架中优化的核心目标是什么？请写出其目标函数并对其中每一项进行解释
7. MoE 架构在模型参数量不断增长的背景下，为何仍能维持相对较高的训练效率？

现场编程
8. 给定 K 个已排序的数组，求它们合并后的中位数