字节实习面经（已oc）总结版

1.介绍一下自己2.二面就不问具体项目细节了，问的都是别的内容以及八股    学校都学了什么课    机器学习这门课的框架    分类模型的损失有哪些    在学校的研究方向是什么    介绍一下transformer的decoder结构    为什么选择用llama3    项目做了多久    beamsearch是怎么做的（这个没回答上来，学过的直接忘了）    对大模型行业怎么看，发展趋势    大模型怎么运用到知识图谱中3. 代码题，直接ac了，嘿嘿    单向链表l1->l2->.....->ln重排为l1->ln->l2->l(n-1)->l3->l(n-2)

1.自我介绍2.项目，问的好细，项目还是需要自己完整做一遍的，还需要自己优化一下。不然问的问题全是瞎编    介绍一下项目    项目中的难点    情感标签怎么做的    数据集处理之后还剩多少条    介绍一下llama3    lora优点 缺点    prompt模板怎么设计的    模型损失怎么变化的    训练完之后做了什么改进    有没有对比lora前和lora后的效果    使用lora的成本怎么样    介绍一下transformer    有没有了解使用的工具的具体的原理    3.最大连续数组和，这个简单，用动态规划。

总体面试体验：7/101.自我介绍2.我听说你拿了字节的offer（这咋知道的？），能说说你对我们和字节会怎么选择吗？答：先看公司实力，差不太多，再看城市，都是上海，再看岗位，美团的更喜欢一点3.项目拷打4.遇到过数据倾斜吗？假设我要对网站url做key，怎么防止数据倾斜？答：做hash、加盐、url逆转5.为什么要有宽表这个东西？他重复这么严重6.算法题：二叉树查找特定值用深度优先做，有几个bug改掉了，面试官：“要注重鲁棒性”7.Java保证线程安全的方法答：synchronized、lock、乐观锁、用线程安全的数据结构，然后就不知道了8.知道内嵌类吗？知道c++的多继承吗？答：都不知道9.反问，说保持联系20min后通过

1️⃣一面1.自我介绍和项目介绍2.介绍一下了解的大模型有哪些，这些模型在结构上有什么差异3.说一下大模型常用的位置编码有哪些，各有什么优缺点4.介绍一下大模型的预训练后训练以及推理是怎么做的，并且详细问了 RLHF 的做法，包括 PPO 算法的原理，以及 DPO 和 PPO 的区别5.大模型的超长上下文是怎么做的，比如说 KIMI6.大模型智能体是怎么工作的，有哪些组件7.场景题：如何训练一个大模型，可以做到精确的提取摘要8.代码:股票的四个题121. 买卖股票的最佳时机122. 买卖股票的最佳时机 II123. 买卖股票的最佳时机 III188. 买卖股票的最佳时机 IV✴️整体来说一面偏基础，没有太多发散性的问题，整个面试一个半小时多2️⃣二面1.自我介绍2.因为之前是做 CV 的，所以面试官问了 CV 和 NLP 的区别和联系，在 Transformer 的大背景下，CV、NLP，包括语音等，能否实现大一统3.训练大模型的时候数据怎么清洗，怎么处理，怎么配比，怎样操作能更容易使模型达到更好的性能4.什么是大模型的幻觉，如何减轻幻觉问题5.大模型的复读问题是怎么产生的，业内一般有什么解决办法6.大模型的工具调用怎么实现7.Agent 有哪几部分构成，了解哪些具体的实现方法8.开放题：之前训练大模型的时候遇到过什么困难，你是怎么解决的9.代码：实现一个 Tokenizer，只能用 PyTorch 基础语法✴️二面相比于一面更加看重综合素质，喜欢考察分析问题解决问题的能力，二面也面试了一个多小时，面试官还是挺专业的。3️⃣三面1.首先过项目，但是问的特别细致，尤其是一个 Agent 的项目，从背景，到动机，再到做法，最后的结果，都问的非常细，大概有半个小时的时间2.开放题：你觉得当前大模型还存在怎样的问题，有什么解决办法吗3.开放题：让你自己设计一个 Agent，会怎么做，为什么这样做4.找工作比较在意的点是什么，除了薪资还有什么5.对文心一言这个产品了解吗，有哪些优点和值得改进的点6.如果给你发 Offer，你到这个团队能做出什么贡献✴️三面整体来说更加综合，不止有一些技术问题，还有职业规划这些问题，更加考察整体的能力。面试官应该是这个团队的大老板，看问题更加系统和全面，整体面下来还是比较有压力的。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。