字节大模型二面面经（持续记录！！

面试问题：- （针对简历提问）你工作里主要关注哪些指标？解释一下AUC含义、计算和作用- 主流的开源大模型结构有哪些？（prefix decoder，casual decoder、encoder-decoder）- 介绍一下layernorm和batchnorm的区别？- 在机器学习里，怎么处理长尾数据和多峰数据？- 怎么解决模型的冷启动问题，你觉得LLM在冷启动方面能够起到什么作用？- 介绍一下常见的优化算法（SGD ->Adagrad ->RMSProp ->Adam -> AdamW）？优缺点- 为什么Adam不一定最优而SGD最优的？怎么理解分析？- （针对简历提问）你工作里的对比损失是怎么构造的，有什么作用？介绍常见的对比损失的公式。代码题：- 数组第K大。给定整数数组 nums 和整数 k，请返回数组中第 k 个最大的元素。（力扣215原题）- 手写对比损失的计算（结合项目），并简单说了一下原理。（大概写出来就好）二面我这个是交叉面，提问的有部分设计大模型，也当然我简历上有大模型，所以问了一些llm+搜推的内容，但这部分交叉问题比较浅，能说个大概就很好，同时也有很多经典的机器学习面经问题。因为项目里提到了对标学习，所以面试官在代码考核部分让我写个示例，所以写进简历的一定要准备好（包括流程步骤，代码实现大概要清楚）。面广告算法的岗位，机器学习面经暴率很高，建议熟背，就算是看过有印象，问到的时候也会基本很稳。

    1 自我介绍2 项目拷打具体到项目内部细节，每一个写在简历上的点都问到了。同时项目过程中穿插八股内容，如 zero 的训练方式？与 lora 的区别？其他微调方式了解吗？3 八股transformer 架构多模态大模型与文本大模型有什么区别RAG 了解吗Agent 了解吗4 反问5 面试体验面试官人很好，没有给压力。完全不知道过与不过。等吧。

拼多多和菜鸟两个都是算法岗，自己做的是大模型方向。拼多多base上海，菜鸟base杭州，业务方面菜鸟做的会更和大模型相关一些，拼多多更偏向广告业务，暑期实习自己主要是想要有一个经历冲秋招，title上面两家差别大吗，求助万能的牛友帮忙选择一下

字节：n*15，大flow下的非seed、非小flow部门，大模型代码智能体方向，工作强度未知（hr说1095，但hr说的无法验证置信度）。优点是字节title最高，且住房补贴1500+包三餐；缺点是包最小。美团：(n+2)*15.5，基础研发下面的组，业务通用智能体方向，工作强度有一些。优点是title较高，包比字节大；缺点是福利少，字节的包算上房补和三餐其实和美团差不多。滴滴：(n+3)*15，核心大模型组，业务通用智能体方向，工作强度未知（hr说在互联网算轻松的，但hr说的无法验证置信度）。优点是包比字节大；缺点是title和字节百度比差一点。百度：(n+1)*16，大搜，做deep research，工作强度未知。优点是包比字节大；缺点是听说大搜部门常年系数*0.8，正常绩效拿不满。希望各位牛友慷慨发表见解