快手大模型面经

自我介绍——5min项目相关细节提问——5min（对项目不是很感兴趣）项目相关技术提问——25min * 2面（与之前的面经贴中重复的技术问题不在展示）1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash At...

1️⃣一面 1．自我介绍，问实习和论文2．了解哪些多模态大模型，简要介绍一下吧，了解最新的一些多模态大模型都是怎么做的吗3．在 BLIP -2或者 Qwen - VL 中， Learnable Query 的作用是什么4．了解多模态 RAG 吗5．大模型的后训练是怎么做的，在 VLM 上做后训练有什么区别6．知道 SAM 吗？说说 SAM 是怎么做的7．概率题：一根绳子剪成三段，这三段可以围成三角形的概率是多少8．代码：一个推荐链路的排序2️⃣二面1．自我介绍，问实习和论文2．讲一下 LoRA ，两个权重矩阵一般怎么初始化，能都全0吗3．除了 LoRA ，还了解哪些可以进行训练推理优化的技术4．现在的多模态大模型，动态分辨率一般都是怎么做的，位置编码怎么设计5．概率题，一副扑克牌，去掉大小王，随机抽两张，花色相同的概率6.场景题：目前有一个带货的直播间，设计一个方案，商品比较多怎么降低时延7.开放题：平常在训练或者微调 LLM 或者 VLM 的时候，有什么心得吗📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

DeepFM 的原理是啥？它的输出是怎么处理的？Qwen-VL 是怎么压缩图片 token 的？长上下文一般怎么处理？多模态大模型里，图片和文本的 token 是先处理哪个？处理方式有啥区别？聊聊 3D 并行和 DeepSpeed？讲讲 SFT 和 RLHF？原理是啥，有啥区别？1. 找出一个数组里严格递增的最长子串。2. 找出字符串里最长的不重复子串，并计算它出现了多少次。

BG： 双非硕 + 学院本秋招投递情况： 阿里系（简历挂）、美团（这周做二笔）、小米（笔试写完，筛选中）、快手（简历挂）、滴滴（笔试挂）、小红书（笔试挂）、马上消费（简历挂）、鹰角网络（简历挂）、蔚来（简历挂）… 还有部分大厂（京东、百度、腾讯、科大讯飞、网易雷火…）和中厂在泡池子中投递时间： 8.20开始～至今进面情况： 无一家进面自我剖析： 学历硬伤 + 笔试差 （要多刷题了）下面附上一张简历，请各位牛友帮忙指点指点～引流：字节 阿里 腾讯 美团 百度 京东 拼多多 滴滴 快手 科大讯飞