首页 / 互联网大厂招聘
#

互联网大厂招聘

#
5110次浏览 194人互动
此刻你想和大家分享什么
热门 最新
如何拿到大厂算法岗offer
点赞 评论 收藏
分享
推荐算法3轮面经
今天老师给大家分享推荐算法3轮面经,供各位同学参考。1️⃣第一轮1、先自我介绍,我的习惯是经历简单介绍一下,然后自然转向准备最充分的一个项目开始详细讲,面试官感兴趣的话最好,不感兴趣的话会直接打断的。主要介绍了项目的背景,难点和解决方案,面试官关心的点主要集中在问题抽象和损失函数,讲清楚为什么这么做,项目大概聊了半小时左右2、机器学习基础:推导 lr,写出loss和梯度(比起推导svm来说简直就是送分题,要是写不出来的话估计会直接挂,基础还是要好好准备)3、算法 链表对折 1 2 3 4 5 变成 1 5 2 4 3拆解一下题目,(灵活)找到链表的中点 牛客题霸: 链表中倒数第k个节点 是找中点的复杂版,都是双指针解法翻转后半段链表 牛客题霸: 翻转链表合并两个链表 牛客题霸: 合并两个有序链表 是复杂版2️⃣第二轮1、先介绍项目,主要聊了项目背景和收益,收益具体怎么衡量,项目如何上线生效2、算法题 m*n的二维数组,只能往右或者往下,找最短路径,n空间 牛客题霸: 矩阵的最小路径和3、有了解过设计模式吗?(答了常见的工厂模式和单例模式,对应的应用场景,简单扯了一下装饰器模式,也是看xgb源码看到的,其实不会用)4、系统设计需要注意什么,如何设计一个系统,系统性能如何评估,需要考虑哪些指标(考察点应该是线上的系统了,指标比如内存使用率,qps,99 39 49时间之类的)5、之前帮阿里云录制过一些深度学习的入门课程,简单聊了一下相关的内容3️⃣第三轮1、先介绍项目,主要聊了项目背景和收益,收益具体怎么衡量,项目如何上线生效2、介绍xgbgbdt和xgb的区别(居然没有问lgb)怎么选最优分裂节点,怎么加速,预排序有什么作用,怎么分箱,等宽还是等深怎么处理缺失值的,预测时候缺失值怎么办3、为什么离职,希望一份什么样的工作4、有没有什么问题想要了解的(问了业务场景 工作内容)📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。    
查看10道真题和解析
点赞 评论 收藏
分享
推荐算法3轮面经
今天老师给大家分享推荐算法3轮面经,供各位同学参考。1️⃣第一轮1、先自我介绍,我的习惯是经历简单介绍一下,然后自然转向准备最充分的一个项目开始详细讲,面试官感兴趣的话最好,不感兴趣的话会直接打断的。主要介绍了项目的背景,难点和解决方案,面试官关心的点主要集中在问题抽象和损失函数,讲清楚为什么这么做,项目大概聊了半小时左右2、机器学习基础:推导 lr,写出loss和梯度(比起推导svm来说简直就是送分题,要是写不出来的话估计会直接挂,基础还是要好好准备)3、算法 链表对折 1 2 3 4 5 变成 1 5 2 4 3拆解一下题目,(灵活)找到链表的中点 牛客题霸: 链表中倒数第k个节点 是找中点的复杂版,都是双指针解法翻转后半段链表 牛客题霸: 翻转链表合并两个链表 牛客题霸: 合并两个有序链表 是复杂版2️⃣第二轮1、先介绍项目,主要聊了项目背景和收益,收益具体怎么衡量,项目如何上线生效2、算法题 m*n的二维数组,只能往右或者往下,找最短路径,n空间 牛客题霸: 矩阵的最小路径和3、有了解过设计模式吗?(答了常见的工厂模式和单例模式,对应的应用场景,简单扯了一下装饰器模式,也是看xgb源码看到的,其实不会用)4、系统设计需要注意什么,如何设计一个系统,系统性能如何评估,需要考虑哪些指标(考察点应该是线上的系统了,指标比如内存使用率,qps,99 39 49时间之类的)5、之前帮阿里云录制过一些深度学习的入门课程,简单聊了一下相关的内容3️⃣第三轮1、先介绍项目,主要聊了项目背景和收益,收益具体怎么衡量,项目如何上线生效2、介绍xgbgbdt和xgb的区别(居然没有问lgb)怎么选最优分裂节点,怎么加速,预排序有什么作用,怎么分箱,等宽还是等深怎么处理缺失值的,预测时候缺失值怎么办3、为什么离职,希望一份什么样的工作4、有没有什么问题想要了解的(问了业务场景 工作内容)📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。    
查看9道真题和解析
点赞 评论 收藏
分享
点赞 评论 收藏
分享
算法求职简历该怎么写大模型微调
结合最近辅助修改的简历及项目,老师总结了部分大模型微调简历的踩雷点。🙅‍♂️错误示范:在 x任务中,获取 xxx 条数据,通过规则 or 脚本清洗出 x 条数据,然后微调 y 大模型,在业务上提升 x 个点。✍🏻原因:大模型微调的平台是现成的,基模是现成的,体现不出核心能力。✅应该怎么写?首先介绍业务背景:业务是一个销售对话业务,机器人是销售,代替真人,直接面对用户。我们会给模型设定任务,任务是 prompt 。步骤1️⃣.提取训练数据问题:1.真人通话每通电话任务是未知的,我们训练数据是任务+通话的 pair 对。2.真人通话很乱,与客户的对话是各种交叉的,导致 asr 后并不是一人一轮。解决方案:1.首先通过大模型 prompt 对该通电话提取任务,得到任务+ pair 对。需要用到 cot + reflection +多 Ilm 一致性+ debating 的模式。2.使用大模型根据以上任务和真人对话,让大模型编写出通话内容。提问,为什么要编写而不是直接用?步骤2️⃣.制定训练数据集问题:1、正常的对话内容,前面几句和后面几句基本上一致的。都是问候和拜拜,但是也有一些差异。2、因为都是相似场景,虽然任务不同,但是很多场景语义很相似。解决方案:1、基于轮次的权重采样:通过轮次设定权重进行 weighting sample 。解决问候和拜拜的高占比问题。2、基于语义的采样:使用 bert 对对话内容进行 embedding ,然后使用层次聚类通过调节阈值聚类出相似语义的类。对一个类里的样本进行随机采样,提问,为什么要对重复语义的数据进行下采样?3、基于客户类型和产品的采样,因为很多产品是热品,导致对话内容有偏,用户类型一样,需按照类型调整整体比例采样。提问,为什么要这么采样?步骤3️⃣.制定训练数据集我们直接把输出当作 target 进行训练。使用的 lora 训练,但是 lora alpha 设定成为4倍的时候达到了比较好的效果,经验值不同任务不一样,提问,在各种情况下要怎么调?步骤4️⃣.dpo训练问题:v1版本训练时,很多输出内容是对的,但是输出的语气不太像真人,机器人味还是很严重。解决方案:由于训练本身是有 ground truth 的,因此使用v1训练的模型,预测训练集,使用大模型对比两者语气不符合训练集的拿出来,使用训练集的 ground truth 和模型的预测数据作为 dpo 训练对,对v1版本模型重新训练。📳这里老师只是简要进行概括解答,具体情况和详细解答可以咨询辅导,如果想了解项目辅导,提升面试能力,欢迎后台联系。    
点赞 评论 收藏
分享
通过大厂辅导老师,我走了哪些捷径
点赞 评论 收藏
分享
什么是合格的算法面试者
今天给大家分享一下,在面试中,大厂面试官如何去判断算法岗面试者的能力。本期分享主要针对实习和校招求职,社招下期在进行分享。🌟针对算法岗主流的方向,比如CV/NLP/LLM/多模态/AIGC/搜广推等等,面试中存在一些算法岗考核的共同点。1️⃣项目质量:主要通过从面试者的描述中,提取关键信息,比如解决什么关键问题,是否有系统性的优化思路或者创新点,以及最终能达到什么样的指标/效果。里面包括实习项目/横向课题/实验室项目等,无论是什么类型,都要对问题和解决方案有深度理解才行。2️⃣逻辑表达能力:结合第一点来考察,具体体现在是否可以在5-10min内把经历讲清楚。3️⃣基础知识:具体不同岗位考察的侧重点不同,会分为两部分,比如项目相关的基础知识以及纯粹的八股问题。如果面试大模型岗位,一些基本的LLM架构/训练方法/RAG等是重点。如果是搜广推,则是业务问题和机器学习概念为主。如果是面试AIGC算法岗,Diffusion/DIT/新方法等都可能会涉及。4️⃣代码能力:以leetcode为主,能AC并且能够进一步优化时间复杂度最好。如果不能完整AC,要能讲出代码和优化思路,但是也有不通过的可能。5️⃣头脑灵活度和学习能力:主要通过提出公司内部目前面临的问题,让面试者讲自己的想法。比如阿里/字节很喜欢这种方式,一方面有机会获得可行的思路,另一方面,如果回答能出乎面试官意料,就很加分。✴️关于我们:真实大厂在职(阿里/腾讯/百度/字节)的资深算法工程师,致力于帮助更多同学进入算法行业,推动行业发展!    
投递阿里巴巴集团等公司10个岗位
点赞 评论 收藏
分享
如何选择算法岗的投递方向
点赞 评论 收藏
分享
字节大模型Rag算法面试题汇总
查看9道真题和解析
点赞 评论 收藏
分享
面试题:为什么 GRPO 容易出现 reward 崩塌?
✴️算法面试中遇到一道实战场景题:在大模型训练中使用GRPO,训到一半 reward 就很容易突然掉下来的原因?GRPO 出现这个问题,需要详细了解强化学习(RL)的基本迭代架构,即 Actor-Critic 架构。知行互动(AC)架构为什么要有 Critic 呢?这就涉及强化学习的算法稳定性问题。与监督学习(SL)相比,RL 实际上是很难稳定的一类训练机制。💣大致的原因如下:RL 本身是处理动态系统的最优控制问题,而 SL 是处理一个静态优化问题。动,就比静更难处理。加上 RL 的数据非稳态,Env-agent 交互机制的数据采集量少,这使得梯度计算的方差更大,方差一大就容易偏离预期目标,算法就容易跑飞了。主流的强化学习算法是怎么解决这一问题的呢?加上 Critic,使用 State-value function 或者 Action-value function 稳定策略梯度的计算过程。更高级一些的算法是采用 Advantage Function,也就是加上了 Baseline,增加梯度计算的稳定性。这是 AC 算法总是优于 REINFORCE 算法的原因之一。✅然而 GRPO 并没有 Critic 部分,原因比较简单,因为 GRPO 是用于训练大模型(1000 亿级别的参数规模),若是使用“知行互动”架构的话,等于需要存储两个大模型。Critic Network和 Actor Network,对存储要求极高。怎么节约存储呢?把 Critic Network 去掉,替换为在线估计 Advantage function 的算法,采用了“时间(算力)”换“空间(存储)”的做法。这就是 GRPO 的设计思想。与之对比,OpenAI 提出的 PPO 算法(也是 GRPO 的基础算法),它的值函数通常是一个与策略模型大小相当的模型,这带来了显著的内存和计算负担。考虑到 OpenAI 并不缺算力资源,不缺存储资源,即使 PPO 算法设计的如此糟糕,照样用的风生水起。🤳回到最初的话题,从原理上看 GRPO 并非完美,与 PPO 相比实际上处于是半斤八两的水平,算法设计存在“稳定性”缺陷,但是为什么 DeepSeek 还能用的比较好呢?因为 DeepSeek 的数据足够多,多到可以“完美”地避开 GRPO 的稳定性缺陷。每次的 Policy Gradient 计算,只要 Batch 数据足够多,就能有效降低 Policy Gradient 的方差,就能获得比较稳定的迭代。当每次使用的数据批量比较小的时候,它的稳定性缺陷将是致命的。这类规模的策略训练,建议优先选择带有 Critic 的强化学习算法。🌟如果大家想了解高质量的项目辅导以及提升面试能力,欢迎后台咨询。    
点赞 评论 收藏
分享
为什么现在 LLM 很少使用 Dropout了?
翻遍各种大模型的实现,虽然结构上可能保留了 dropout 的实现,但是采样概率都设置为 0 了。唯一一个比较新的,还用 Dropout 的模型是 Meta 训练的 Galactica 模型。那为什么现在不用了呢?核心还是要弄清楚 Dropout 的使用场景。Dropout 之前在深度学习当中是一个特别好用的方法,可以防止过拟合,提高泛化。所以说,当模型较大,数据较少的时候,使用 Dropout 是比较合适的。现在大模型处在什么状态呢?✅预训练在预训练阶段,目前可能还是处于欠拟合的状态。之所以说可能,是基于目前公开的一些论文的出的结论。但是现在闭源的公司在采用大量数据合成的情况下,已经训练足够充分或者接近充分也说不定。以 llama 一系列论文为例,训练 llama 1 的时候,龙猫 Scaling law 里面提到 GPT3 是一个训练很不充分的模型。然后给出的数据配比的建议是,10B 的模型要采用 200B 的 token 来训练。但是 llama 1 采用了 7B 的模型,训练量 1T 的 token 发现性能依然有提升。而且预训练所有的语料一般只过一个 epoch,某些特定的领域可能过 2个 epoch,可以认为样本的重复率很低。所以,在数据足够多,多样性足够而且没有太多重复的情况下,大模型在预训练阶段仍然没有过拟合的风险。也就完全不需要采用 dropout。✅Dropout 就完全不需要了么?如果上面的条件不能满足,Dropout 还是有用武之地的。比如前面提到的 Galactica 模型。这个模型和其他大模型不太一样的地方是训练了 4.25 个 epoch,因为他们认为高质量的数据更重要一些,但是又没有那么多,所以就 repeat 数据了。在论文《To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis》 中,详细列举了数据 Repeat 对训练 LLM 的影响,并且证明了 Dropout 可以缓解数据重复带来的性能损失。在文章《Can LLMs learn from a single example?》中,也提到了在 SFT 的时候,少量的重复数据就会降低模型的性能。这也符合常理,SFT 的数据分布和预训练的通常是不太一样的,重复的数据会让模型拟合新的分布,从而忘掉旧的分布。文中同样也提到 Dropout 可以缓解数据重复带来的影响。所以 Dropout 在数据量较少,多样性不高,需要 repeat 的场景下,依然是一个减少过拟合的很方便的手段。比如现在已经有一些在 LoRA 微调的时候采用 Dropout 的研究了。      
点赞 评论 收藏
分享
玩命加载中
牛客网
牛客企业服务