快手推荐模型算法一面-日常实习

40min 1.挑一个实习项目介绍2.手撕:最短路径 和为k的子数组3.介绍理解的推荐4.介绍了解的精排模型5.wor2vec 训练方式 做的优化6.deepfm fm的复杂度7.Bert的结构7.din sim 具体怎么做的(问的较深)8.介绍 Lora 微调 参数以及初始化反问:业务 对我的建议 面试官问我的意向

时间线：11.29 投递，12.1 简历通过，约面。 12.08一面，答的一坨，估计极大概率已挂，面试时间总计35分钟update: 12.11晚被发感谢信个人反思这两周效率还是不太高，每天有效学习时间6小时左右，背八股 + 刷算法，同时看12306的项目文档，阅读项目代码。期间学到了很多新的东西，但也遗忘了很多八股。现在只能继续边投边面边学了，“沉淀”对于我这种懒人来说是个伪命题，有了面试的压力，心里才有更多的动力去学项目中的业务逻辑和背八股。虽然时常安慰自己不要焦虑，但是接连的面试已挂还是相当打击人的。12月还有一堆乱七八糟的期末考试，后天11号要考编译原理，到现在都没开始预习。明天又约了...

1.实习介绍2.拷打简历上一个项目(大概15min)3.lightgbm和xgboost 区别4.gbdt是怎么训练的 word2vec模型结构5.树怎么分裂 用什么loss6.交叉熵公式 跟softmax区别7.介绍 YouTubednn和双塔模型 区别和联系8.讲llm4rec 讲自己看过的两个模型 讲解自己的收获9.你觉得生成式推荐为什么可行10.介绍transformer结构 各个部分的重要性11.encoder可以不要ffn吗 为什么 可行吗12.听我懂一些ppo然后拷打ppo公式(不会)13.esmm论文看过没deepseekr1论文看过没手撕代码:不是hot100的题目类似全排列反问:业务 实习生干的活 对我的意见

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效)3.了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)4. Qwen的模型结构是怎么样的，相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构，Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG，RLHF对齐，事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方，DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择(FP16精度高但易溢出，BF16动态范围大;训练常用BF16混合精度，推理用INT8量化加速)8.讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的，你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率，需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组