快手大模型面经

自我介绍——5min项目相关细节提问——5min（对项目不是很感兴趣）项目相关技术提问——25min * 2面（与之前的面经贴中重复的技术问题不在展示）1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash At...

1️⃣一面 1．自我介绍，问实习和论文2．了解哪些多模态大模型，简要介绍一下吧，了解最新的一些多模态大模型都是怎么做的吗3．在 BLIP -2或者 Qwen - VL 中， Learnable Query 的作用是什么4．了解多模态 RAG 吗5．大模型的后训练是怎么做的，在 VLM 上做后训练有什么区别6．知道 SAM 吗？说说 SAM 是怎么做的7．概率题：一根绳子剪成三段，这三段可以围成三角形的概率是多少8．代码：一个推荐链路的排序2️⃣二面1．自我介绍，问实习和论文2．讲一下 LoRA ，两个权重矩阵一般怎么初始化，能都全0吗3．除了 LoRA ，还了解哪些可以进行训练推理优化的技术4．现在的多模态大模型，动态分辨率一般都是怎么做的，位置编码怎么设计5．概率题，一副扑克牌，去掉大小王，随机抽两张，花色相同的概率6.场景题：目前有一个带货的直播间，设计一个方案，商品比较多怎么降低时延7.开放题：平常在训练或者微调 LLM 或者 VLM 的时候，有什么心得吗📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

DeepFM 的原理是啥？它的输出是怎么处理的？Qwen-VL 是怎么压缩图片 token 的？长上下文一般怎么处理？多模态大模型里，图片和文本的 token 是先处理哪个？处理方式有啥区别？聊聊 3D 并行和 DeepSpeed？讲讲 SFT 和 RLHF？原理是啥，有啥区别？1. 找出一个数组里严格递增的最长子串。2. 找出字符串里最长的不重复子串，并计算它出现了多少次。

二面给我挂了，有点搞笑诶，问题都是些基础八股，半年前都能随便答，实习项目没怎么问，面完第二天进度回到简历筛选了😅，你凭什么啊科大讯飞啥鸟，不招人可以不面，浪费时间