虾皮推荐算法实习面经

最近闲下来了发点面经攒攒人品1. attention中数据shape是batch first还是seq_len first2. Prompt长度加倍，首token延迟加倍吗3. 模型选型时是否做定性定量对比ab test，客观数据验证文心性能不好了吗4. SFT过程中遇到了哪些问题和解决方案？5. 如何定性定量评估数据集质量，单条和整体数据集质量？6. 单一分类模型，细分分类模型和MOE融合的优劣。7. MHA手写?

发一下面经供大家参考，有面过同岗位的欢迎评论区交流1. 请简述推荐系统的主要模块（如召回、粗排、精排、重排）及其各自的目标。2. YouTube DNN、DIN、DeepFM这些模型你了解吗？请选一个简述其核心思想，并说明它解决了什么问题。3. 如果快手“发现页”的推荐结果，用户点击率很高但观看时长很短，你认为可能是什么原因？你会从哪些方向去优化模型？（追问：在优化过程中，如何设计实验（比如A/B测试）来验证你的优化策略是有效的？）4. 如何理解“探索与利用”（Exploration & Exploitation）困境？在推荐系统中有什么常见的解决思路？5. 在构建推荐模型的特征工程中，对于“用户兴趣”这种动态变化的信息，你会如何设计和处理特征？6. 推荐场景中经常遇到数据稀疏和冷启动问题。针对一个新发布的短视频或一个新注册的用户，你有什么策略？7. 除了优化线上指标，你认为离线评估推荐模型好坏，应该关注哪些评估指标？为什么？8. 请描述一个你课程或项目中与推荐相关的实践，并说明你的技术选型和思考过程。9. 你平时会使用快手吗？从推荐算法的角度，你观察到哪些有趣的现象或有待改进的点？

1.过实习和论文2.之前实习用 DeepSpeed 微调过 Qwen2-72B，于是面试官问了 ZeRO-1，ZeRO-2，ZeRO-3 三个模式的区别3.当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存4.除了 DeepSpeed，还用过其他的什么优化方法吗5.我看你也用到了 LORA，知道 LORA 的原理吗，A和 B两个矩阵怎么初始化，有了解过其他的初始化方法吗6.对 RLHF 了解的多吗7.代码:3.无重复字符的最长子串

1.项目介绍2.llamfactory和huggingface框架的区别3.模型幻觉怎么处理，为什么会有幻觉4.模型输出的处理，如果输出不是你想要的该怎么办5.栈和堆，c++的智能指针代码：手撕最大堆