字节大模型应用算法凉经分享-实习

1. 介绍下你实习学了什么 做过什么项目,为什么离职的2. MoE 为什么能在参数量很大的情况下还能把训练和推理成本压住，真正难点在哪MoE 的关键不是“参数变多了”，而是“每个 token 只激活一部分参数”。也就是说总参数量可以做得很大，但单次前向只走少数几个 expert，所以理论上计算量不会随着总参数线性增长。这个思路在大模型里很有吸引力，因为可以同时兼顾容量和成本。但真正难的地方是路由和负载均衡。路由器如果只偏爱少数 expert，训练会很不稳定，热门 expert 被打爆，冷门 expert 学不到东西。另一个难点是通信开销，尤其多机训练时，token dispatch 和 gat...

感觉自己好菜、面试很难，还是要多多练习生成式推荐1.介绍一下 RQVAE 算法，落地过程中遇到了什么问题？（自己做的项目哪来落地，笑）2.第一层 code book 的初始化你是怎么做的？3.code book 的大小和层数你是怎么设计的？4.RQVAE 训练过程中，损失函数的构成？训练中的 loss 曲线、AUC 这类指标大概是什么水平？5.有没有调过码本初始化、相关超参，这些参数调整对模型效果的影响是什么？SFT&GRPO 算法细节提问1.你项目里提到了 SFT 和 GRPO 算法，分别讲一下这两部分你是怎么设计和计算的？2.在推荐任务上，你的 SFT 的 label 是怎么设计的？对应的 loss 函数是怎么设计的？3.详细讲一下 GRPO 算法的核心逻辑？相对于 PPO，核心优化了哪个部分？优化带来的效果是什么样的？PPO 的优势函数，对 GRPO 有影响吗？group 代表了什么？它是想替换原来 PPO 里面优势函数里的什么价值？代码考核 & 专业背景提问1.单词拆分这道题，先说说解题想法，然后写一下代码？2.最长回文子串这道题，简单说一下思路，然后写一下代码？

1. 介绍一下你做过的一个项目2. 打分模型设计思路是什么打分模型本质上是在多个候选里做排序，重点不是绝对分值，而是相对顺序。设计时先要明确标签来源，如果是检索系统里的重排，一般可以来自人工相关性标注、点击日志、停留时长、复制行为、是否继续追问等；如果是生成答案质量打分，还会加入事实一致性、格式完整性、引用正确性这些目标。特征上通常会混合语义特征和业务特征，比如 query 向量、doc 向量、交叉编码器打分、文档时效性、来源可信度、标题匹配度。训练时常见有 pointwise、pairwise、listwise 三种。pointwise 简单，适合做基础版本；pairwise 更符合排序本质...

省流：迟到，面试开始第 8 分钟说，想问的都问完了，然后出了一道移除重复元素，直接进反问腾讯地图 北京周一中午约的一面，聊了一个小时冒头，第二天就约二面了面试官迟到了三四分钟，倒无所谓了进来先开始吟唱，然后让我自我介绍自我介绍了三四分钟，不知道面试官对哪感兴趣，就问了一嘴要不要继续展开面试官说，挑一个比较难的项目讲讲，就挑了一个，讲了一下没有任何的回答和评价，直接问了一个八竿打不着的八股文正常回答之后，没有任何的评价，直接说，那我问的差不多了，重复的我就不再问了，咱们来做一道题吧给我一道移除重复元素讲完思路，写完之后直接进反问当时已经知道什么情况了，但是我还是正常进行了反问。然后对方开始戏谑的笑，一点没开玩笑太爽了，兄弟，人生最爽的二面结束之后 10 分钟之内给我挂了