字节大模型算法岗一二面面经

主包是27届应届生，今年秋招，目前有两个多模态算法暑期实习oc：鹅和节。主包的最终目标是备战秋招，想冲ssp，希望uu们可以给主播一些选择的建议腾讯IEG天美l1：方向是做多模态的agentic rl，类似输入游戏画面（多模态）agent自己行动，现在还在初期探索阶段，最终落地到某国民游戏和即将开服的开放世界衍生游戏上。好处是这个工作室和游戏是鹅的核中核，且agentic rl+多模态是在风口上。但是转正率未知，hr面忘问了，而且担心路走窄了（虽然技术栈是风口）担心秋招的时候不太认游戏相关项目，而且主包私以为做的方向跟该游戏盈利方向关系不大。字节抖音内容技术团队：方向是某国民短视频app全平台内容理解（图文、音频、评论等多模态），包括显示理解和黑盒embedding，是具体业务导向的表征学习好处也是该部门和业务是字节核中核，hr说该部门转正率70%左右，方向更通用一点，许多业务或不同平台都需要。另外鹅的业务是新方向，在起步阶段，节是成熟业务了已经。主包希望实习期间能多些产出，好秋招

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射，你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖，大模型生成的候选列表概率分布，如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排，现在的瓶颈不在计算而在存储带宽。如果分阶段推理，我在Prefill阶段采用了FlashAttention-3，但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重，怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型，如果我要做Speculative Decoding，你如何设计那个Draft Model？这个小模型是该学大模型的 Logits 分布，还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景：某个新入驻的土豪广告主投放了一批高质量视频，但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐，导致第一波推荐给了错误的人群，产生了极高的 Negative Feedback，生成式模型的自回归特性会不断放大这种“第一印象”，导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种，在不重新训练模型的前提下，通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后，竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣，发生了明显的 Catastrophic Forgetting，设计一种基于 Gradient Orthogonal Projection的优化器，确保模型在更新实时热点知识时，参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看，为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移

发点面经攒攒人品～1.项目介绍2.介绍实习3.数据集使用的是公开数据集还在有自己构造数据集大模型相关八股提问4.分别讲一下 Dense 模型和 MoE 模型以及二者的区别5.讲一下MoE的 路由机制是如何做的6.训练完验证使用的是什么数据集7.做这个工作的过程中的难点在哪8.如何做的 SFT9.介绍一下 PPO10.讲一下 RAG 项目11.分类任务常用的评测指标有哪些12.讲一下 LoRA 微调的原理13.A、B 矩阵怎么初始化的14.LoRA 微调秩设置的是多少coding最小生成树

攒攒人品！ 1. 项目拷打2. 多模态大模型有什么了解3. Agent skills4. 怎么加强大模型记忆机制5. 多Agent执行策略的智能选择和切换机制设计6. SSE的局限性7. lora效果不好怎么办8. RAG动态知识更新9. 大模型项目遇到了什么问题10. lora的缺点，改进方向11. 复杂任务执行准确率提升的评估方法12. 多轮对话的实现方案13. RAG评估方案14. 了解过市面上有哪些智能体agent吗15. 介绍一些AI大模型16. MCP和Function Calling