minimax大模型算法面经

实习介绍——5min项目相关细节提问——5min1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash Attention 的原理，矩阵 tiling 的过程说细一点，最好把 shape 也讲清楚。手撕算法：经典接雨水+最长上升子序列

今年上半年写过一篇文章：刷到羊毛月，我想说：我们并不欠优绩主义什么加班的时候顺道摸摸鱼，刷到了这个话题，然后回去搜了搜羊毛月。算法真的很懂，它总是在你最疲惫、最容易自我怀疑的时候，把这种“成功人士现身说法”精准地推到你脸上。和我还读研时第一次刷到他不同的是，这次我没有愤怒，也没有想反驳，我只是在想：如果我现在还信优绩主义，那我这半年班算是白上了。毕业半年，说长不长，说短不短，但已经足够让我意识到一件事：工作世界对“努力—回报”的兑现程度，远比校园里想象得随机、粗糙、甚至有点荒诞。上学的时候，我反感优绩主义，是因为它无法解释求职市场里的残酷与偶然；现在我反感它，是因为我亲眼看见，它在职场里依然被...

1.八股：XGBoost 如何计算特征重要性？Gini 系数在树模型中代表什么？它和信息增益的区别在哪？2.八股：Decoder-only 模型在推理时，预测第 i+1 个 token 时，输入用的是第 i 个 token 的 one-hot 还是概率分布？为什么？3.八股：KV Cache 的空间复杂度是多少？如何估算一个 7B 模型在 batch=1、seq_len=2048 下的显存占用？4.八股：AdamW 和 Adam 的核心区别是什么？Adam 相比 SGD 引入了哪些优化机制？Adam 全称是什么？5.项目：你们验证集的类别分布是否和线上一致？如何保证标注数据的高质量（比如通过交叉校验 or 专家审核）？6.项目：在当前 RAG 架构下，如果引入 Few-shot Prompting，为什么能提升输出质量？和微调相比各自适用场景是什么？7.项目：FAISS 是如何加速向量检索的？你用的是 IVF 还是 HNSW？索引构建时 nlist/nprobe 怎么调？8.手撕：最长回文子串（LeetCode 5）

京东科技，米哈游，阿里国际，都是推理偏框架侧的研发米哈游给的最多，团队里面貌似都是从其他大厂挖过来技术力比较强的，属于那种小而精的，应该还在开拓期。其他两个厂应该都是大组，然后业务应该比较平稳。个人感觉米可能能学的技术多一些，其他两个大厂实习可能是大锅饭，但是背书强一些，有点拿不定主意