📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。    

如果大家想了解高质量的项目辅导以及提升面试能力，欢迎后台咨询。

#简历中的项目经历要怎么写# #大模型# #互联网大厂招聘# #算法岗面试# #大模型面经# 

#简历中的项目经历要怎么写# #互联网大厂招聘# #大模型# #算法岗面试# 

对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师为大家梳理了字节算法岗关于大模型Rag的面试题，供各位同学参考。1️⃣ LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?2️⃣Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。3️⃣位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?4️⃣Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?5️⃣RAG技术：RAG(检索增强生成)的完整链路包含哪些步骤?为什么它能提升生成质量?6️⃣大模型幻觉：大模型产生幻觉的根本原因是什么?7️⃣显存计算：7B 模型在训练和推理时的显存占用如何估算?显存与参数量、批次大小、序列长度的关系是什么?8️⃣实习与论文：详细说明实习中解决的一个技术难点，涉及哪些模型或算法?如何评估效果?9️⃣链表操作：删除链表倒数第 N 个节点的算法思路?如何用双指针法实现?边界条件(如头节点删除)如何处理?📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。    

互联网大厂算法岗目前需求方向包括：搜广推，多模态，LLM，AIGC图像/视频生成，CV，NLP，机器人/自动驾驶，机器学习，运筹优化等等。25年大厂秋招的趋势：搜广推需求稳定，多模态/LLM/NLP岗位会明显增多，AIGC图像/视频生成/机器人算法需求会适当增加，其他方向，比如传统CV，机器学习，运筹优化以及自动驾驶方向hc会偏少。💥具体来说，阿里集团，比如淘天，国际商业，本地生活等搜广推需求会比较大，以及字节，拼多多，小红书，得物等公司，搜广推方向都会有需求。多模态/AIGC/LLM的需求，主要集中在阿里，腾讯，字节，百度等头部大厂，以及小红书等快速增长的互联网公司也会有大量需求。💥如果想进互联网大厂，多模态/AIGC/LLM/搜广推都是不错的方向，其中多模态/AIGC/LLM算法适合有大模型经验的同学，而搜广推适合有机器学习背景的同学。🌟以上热门的方向最近一两年大家都注意到了，尤其今年有很多CV，自动驾驶甚至其他行业背景的同学都在入行。如果简历上没有质量过硬的项目，面试过程中会比较劣势。因此入行上述算法方向一定要保证，简历上至少有一个高质量项目或者实习经历。🍁如果需要相关的项目辅导，在面试前提升简历质量或者提升面试能力，欢迎后台T。

持续更新中……

大厂算法岗面试官帮你规划学习路线✴️今天给大家梳理一下：算法岗求职过程中关键的影响因素，希望能帮助同学们达到算法岗的要求。0️⃣学历：硕士以及以上。一般来讲，学校层次在985/QS前200尤佳。简历非常优秀的211/双非硕士也有机会。1️⃣初期准备：要有python和深度学习/机器学习基础，其中针对关键的模型（CNN/RNN/Transformer/VIT/Bert/GAN等），要熟悉原理以及能进行模型训练/测试。2️⃣方向选择：从目前热门的方向，比如大语言模型，多模态大模型，AIGC图像生成，搜广推中选择未来的发展方向，这些方向更容易拿到大厂算法offer。3️⃣简历：重点突出对口且有质量的项目经历，以及实习经历，这个是决定是否能够脱颖而出的关键。这一部分如果缺少，可以后台咨询补充经历。4️⃣面试能力：（1）体现在能否给面试官有逻辑的体现自己过往的经历，比如有质量的项目/实习经历。（2）对算法领域有足够的了解，更多体现在对新方法的跟进以及经典方法的理解。5️⃣代码：leetcode top 100分类别去刷，包括数组，链表，矩阵运算，动态规划等等，以及经典网络代码，比如MHSA，LN等。🍁如果想进一步了解如何规划学习路线，提升简历和面试能力，欢迎后台咨询。    

今天老师给大家分享大模型面经：Transformers 中为什么使用 Layer Norm ？供各位同学参考。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师给大家整理了部分搜索推荐算法工程师(实习)面经。供各位同学参考。✅一面1.自我介绍2.先问如果面试通过了，什么时候可以来实习，实习可以线下不3.问有实习过吗？4.简单了解下简历上的两个项目除了这个课程设计，对于推荐还了解哪些5.介绍下推荐系统的流程6.召回和排序比较大的差异点7.为啥排序会比召回的结果要准呢？8.项目中 DIN 模型里面的 attention 是怎么做的？score 是怎么得到的？知道原文里是怎么做的吗？9.现在主要研究是 NLP 吗？10.简历上的在投论文是一作吗？结果咋样？11.未来是希望做 NLP 还是 做推荐12.毕业论文开始写了吗？13.实验有做推荐的吗？14.大数据相关的技术了解如何？15.用户意图理解、用户兴趣、画像建模，应用到推荐上16.编程题:本科是计算系的，平时刷过 leetcode 吗？回答说：没有刻意刷过，不知道该如何回答。17.判断二叉树是否是镜像二叉树，就是判断是否对称。leetcode 原题回答说这个题可以用递归和迭代来做，写了递归实现。✅二面1.自我介绍2.先问了在投的论文，接受了吗？介绍下这篇 paper3.主观性很强的场景，如何做量化等等4.结果 f1 提升的 1% 怎么保证有效性，如何保证置信呢？5.固定随机种子后，多次实验结果相同吗？6.介绍下第二个项目，跟推荐系统相关的7.结合这个项目，说说自己对推荐系统的了解8.多目标混排算法有哪些9.召回主流的做法10.召回的目的是什么，推荐系统一定需要召回吗？11.介绍下 embedding 召回12.推荐系统冷启动问题，怎么解决13.怎么解决排序结果都是之前电影相似电影的结果14.编程题：最长无重复子数组，leetcode 原题，用滑动窗口来做。📳***************************************

今天老师给大家分享推荐算法3轮面经，供各位同学参考。1️⃣第一轮1、先自我介绍，我的习惯是经历简单介绍一下，然后自然转向准备最充分的一个项目开始详细讲，面试官感兴趣的话最好，不感兴趣的话会直接打断的。主要介绍了项目的背景，难点和解决方案，面试官关心的点主要集中在问题抽象和损失函数，讲清楚为什么这么做，项目大概聊了半小时左右2、机器学习基础：推导 lr，写出loss和梯度（比起推导svm来说简直就是送分题，要是写不出来的话估计会直接挂，基础还是要好好准备）3、算法 链表对折 1 2 3 4 5 变成 1 5 2 4 3拆解一下题目，(灵活)找到链表的中点 牛客题霸: 链表中倒数第k个节点 是找中点的复杂版，都是双指针解法翻转后半段链表 牛客题霸: 翻转链表合并两个链表 牛客题霸: 合并两个有序链表 是复杂版2️⃣第二轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、算法题 m*n的二维数组，只能往右或者往下，找最短路径，n空间 牛客题霸: 矩阵的最小路径和3、有了解过设计模式吗？(答了常见的工厂模式和单例模式，对应的应用场景，简单扯了一下装饰器模式，也是看xgb源码看到的，其实不会用)4、系统设计需要注意什么，如何设计一个系统，系统性能如何评估，需要考虑哪些指标（考察点应该是线上的系统了，指标比如内存使用率，qps，99 39 49时间之类的）5、之前帮阿里云录制过一些深度学习的入门课程，简单聊了一下相关的内容3️⃣第三轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、介绍xgbgbdt和xgb的区别(居然没有问lgb)怎么选最优分裂节点，怎么加速，预排序有什么作用，怎么分箱，等宽还是等深怎么处理缺失值的，预测时候缺失值怎么办3、为什么离职，希望一份什么样的工作4、有没有什么问题想要了解的（问了业务场景 工作内容）📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。    

翻遍各种大模型的实现，虽然结构上可能保留了 dropout 的实现，但是采样概率都设置为 0 了。唯一一个比较新的，还用 Dropout 的模型是 Meta 训练的 Galactica 模型。那为什么现在不用了呢？核心还是要弄清楚 Dropout 的使用场景。Dropout 之前在深度学习当中是一个特别好用的方法，可以防止过拟合，提高泛化。所以说，当模型较大，数据较少的时候，使用 Dropout 是比较合适的。现在大模型处在什么状态呢？✅预训练在预训练阶段，目前可能还是处于欠拟合的状态。之所以说可能，是基于目前公开的一些论文的出的结论。但是现在闭源的公司在采用大量数据合成的情况下，已经训练足够充分或者接近充分也说不定。以 llama 一系列论文为例，训练 llama 1 的时候，龙猫 Scaling law 里面提到 GPT3 是一个训练很不充分的模型。然后给出的数据配比的建议是，10B 的模型要采用 200B 的 token 来训练。但是 llama 1 采用了 7B 的模型，训练量 1T 的 token 发现性能依然有提升。而且预训练所有的语料一般只过一个 epoch，某些特定的领域可能过 2个 epoch，可以认为样本的重复率很低。所以，在数据足够多，多样性足够而且没有太多重复的情况下，大模型在预训练阶段仍然没有过拟合的风险。也就完全不需要采用 dropout。✅Dropout 就完全不需要了么？如果上面的条件不能满足，Dropout 还是有用武之地的。比如前面提到的 Galactica 模型。这个模型和其他大模型不太一样的地方是训练了 4.25 个 epoch，因为他们认为高质量的数据更重要一些，但是又没有那么多，所以就 repeat 数据了。在论文《To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis》 中，详细列举了数据 Repeat 对训练 LLM 的影响，并且证明了 Dropout 可以缓解数据重复带来的性能损失。在文章《Can LLMs learn from a single example?》中，也提到了在 SFT 的时候，少量的重复数据就会降低模型的性能。这也符合常理，SFT 的数据分布和预训练的通常是不太一样的，重复的数据会让模型拟合新的分布，从而忘掉旧的分布。文中同样也提到 Dropout 可以缓解数据重复带来的影响。所以 Dropout 在数据量较少，多样性不高，需要 repeat 的场景下，依然是一个减少过拟合的很方便的手段。比如现在已经有一些在 LoRA 微调的时候采用 Dropout 的研究了。

对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。