nlp

 科大讯飞 NLP (2+1+1) 🚀主要是以项目为主，如果项目有论文支撑，直接对着你的论文直接开讲，中间打断提问发散问题, 最后八股拷打。八股如下包含飞星计划以及秋招正式批：Lora为什么在工业界这么吃香？原因是什么？LLM的分布式框架了解过吗？展开讲一下它们的优缺点？大模型的训练的完整流程是什么样子的？为什么要先经过SFT微调，在RL？DPO和PPO有什么区别？你更喜欢使用那种？当时浅浅回答了下，喜欢DPO，优点说明下。DPO的公式给我写一下或者口述一下？当时没写出来🙄DPO跟对比学习有哪些相同点和不同点？我的项目用了后者 跨模态对齐如何做的，你都了解那些对齐方式？模型的幻觉问题？以及RAG的好处？如何利用RAG去缓解模型环节？ROPE给我介绍一下？代码能写下吗?（当时还不会写🙄）你了解哪些多模态encoder？没有Leetcode🫡，但对着论文拷打发散问题很难受🤕          

10.15 携程 NLP（2+1）1. 项目+实习2. Lora原理以及初始化3. Lora参数含义4. Deepspeed三阶段5.  强化学习框架6. PPO，DPO，GRPO7. PPO的critic model作用8. 大模型温度系数作用，topk和p的区别9. bert的位置编码以及ROPE10. 深入探讨Deepseek的技术11. 深入探讨MOE和Dense模型12. 代码题：接雨水        

PDD算法 和 字节 NLP（2+0/2+1）🙂1. PDD全程无八股，面试官基本都是推广搜工程师，面试官不会NLP2. PDD的LC题目：最长不重复子串 以及 接雨水进阶版 和 自己出的一道题剩下全是字节的1. 深挖实习和项目，直到你不会的2. 位置编码有哪几种？具体介绍了ROPE3. 跨模态对齐的方案有哪些？为什么选择该方案4. 针对长序列问题建模你有什么见解？5. DPO的公式以及原理？6. RAG中你认为的关键点有哪些？并就其中1-2点展开下7. 聊一聊大模型的发展道路？8. 为什么分类用CE不用 MSE？9. 残差网络的优点，至少说出3个10. Deepspeed的三阶段介绍下11. 介绍下LLAMA的架构12. 代码题：MHA，岛屿最大面积，还有个忘了   pdd  面经   

科大讯飞 NLP (2+1+1) 🚀主要是以项目为主，如果项目有论文支撑，直接对着你的论文直接开讲，中间打断提问发散问题, 最后八股拷打。八股如下包含飞星计划以及秋招正式批：Lora为什么在工业界这么吃香？原因是什么？LLM的分布式框架了解过吗？展开讲一下它们的优缺点？大模型的训练的完整流程是什么样子的？为什么要先经过SFT微调，在RL？DPO和PPO有什么区别？你更喜欢使用那种？当时浅浅回答了下，喜欢DPO，优点说明下。DPO的公式给我写一下或者口述一下？当时没写出来🙄DPO跟对比学习有哪些相同点和不同点？我的项目用了后者 跨模态对齐如何做的，你都了解那些对齐方式？模型的幻觉问题？以及RAG的好处？如何利用RAG去缓解模型环节？ROPE给我介绍一下？代码能写下吗?（当时还不会写🙄）你了解哪些多模态encoder？没有Leetcode🫡，但对着论文拷打发散问题很难受🤕     

10.17 蚂蚁 NLP （2+1）1. 项目+实习2. 强化学习的发展历程3. 多头注意力书写4. Lora的优势5. 对话的掩码方式，其次是整体计算？6. deepspeed zero123区别，有没有看过显存占用7. grpo比dpo和ppo优势在哪？8. MLA相比GQA的优势？9. Agent的看法？10. 跨模态处理的有效方法？11. Qwen2-VL的框架介绍？   面经  蚂蚁   

二面的时候面试官问我为什么transformer不用bn而是用ln。我看了几个网上的八股回答，结果面试官还是不满意，有没有懂哥讲一下啊？   我的回答也是不同句子长度不一样，然后每个句子的位置不一样，可能是表达不大好，那个老东西不满意

10.16 小红书 NLP （2+0）它的代码平台很不人性化，巨难用1. 项目+实习2. 数据集构建和评估3. 跨模态对齐4. peft各个的实现和优势5. agent的框架使用，介绍一个最常用的6. 多智能体协同，你怎么处理的？7. SFT和强化学习的使用场景或者用途差别8. 位置编码的架构，以LLama的位置编码讲解9. 加速大模型的方式有哪些？10. 代码题：橘子腐烂？   实习  小红书  互联网大厂实习 # 

拼多多25届秋招已经开始，我们部门的校招/社招HC都很充足，算法/后端/数分等等都要，欢迎来聊。拼多多跨境部门直推，核心用户增长业务，团队稳定，业务高速发展，个人成长迅速，简历直达面试官。欢迎咨询投递。【拼多多校园招聘】内推链接：https://careers.pinduoduo.com/campus/grad?t=6Uer9Ujr0o内推码：6Uer9Ujr0o投递后请私我姓名，便于推进流程。

字节tiktok算法针对26，27届毕业生的日常实习/暑期实习开始招聘啦😁😁都是具有转正机会的岗位可积极投递呀😊😊有意向可邮箱联系，wangyueyue.8@bytedance.com          

NLP/全模态/CV大模型赛道，纯国产昇腾算力芯片，掌握时代最前沿技术！有意向请联系我，可内推哦！地点：上海/南京/深圳/杭州/北京/西安/武汉招聘岗位：NLP算法工程师/视觉算法工程师/多模态算法工程师。可以接触大模型预训练、微调、强化学习等核心技术，数据多多，算力多多，成长多多！对大模型算法有热情的同学都可以加入！招聘范围：实习：26年毕业海内外高校学生OD：不限华为云计算BU介绍：华为云是华为的云服务品牌，将华为 30多年在 ICT 领域的技术积累和产品解决方案开放，提供稳定可靠、安全可信、可持续发展的云服务。华为云践行“一切皆服务”的战略，不断提升产品竞争力，成为云服务的领先者。目前，华为云计算 BU 在国内外多地设立了研发和创新中心，并与业界顶尖的科研院校展开合作，不断增强云计算领域的创新能力和核心竞争力。在这里，您将接触云原生 2.0全栈技术，深度参与全场景业务，站在技术的最前沿，引领云时代！有意向的同学请联系我，可内推哦！地点：上海/南京/深圳/杭州/北京/西安/武汉                      

58同城（2+1）​1. 项目+实习​2. LoRA微调全概况​3. MHA 改进​4. KV cache​5. Paged attention​6.7B LLM的训练显存占用​7. Deepspeed 三阶段​8. 大模型发展史​9. 代码题：动态规划   互联网大厂  校招   

鼠鼠在面试的时候经常被问有没有对比GPT4，为什么数据不用大模型标，为什么要人工标等等，我们也没有调大模型的经费啊，这种情况怎么回答好呢？

1.Transformer的多头注意力的作用：从GCN的角度就是探索更多的权重矩阵。原文的解释是MultiHead-Attention 提供了多个“表示子空间”，可以使模型在不同位置上关注来自不同“表示子空间”的信息。 即通过MultiHead，模型可以捕捉到更加丰富的特征信息。这里的多个表示子空间其实就是GCN里的多个权重矩阵。2.无序数组的中位数：这道题应该算是本科算法课的入门题了，找中位数和找任意第k个数是一样的方法。方法一：快排一次后，检查k落在哪个区域，然后对那个区域再进行一次快排。如此反复，可得答案。方法二：同样使用快排，但是对基准数不再随机，而是尽可能找出让两段区域长度相等的划分...

笔试11月初做的。然后11月中捞起来面试。一共两轮第一轮，问简历上实习经历，再挑一个项目讲讲，讲讲multi-head attention, batch norm, dropout。最后两个答得不是很好。 最后问反馈：基础还不错，深度不够。第二轮，一周之后接到电话，约二面。面试官说给我打了好几个... 主要人在美国，手机还不能双卡双待，之前阿里两个电话都没接到，直接给我挂了，麻，为啥留了邮箱不能发个邮件呢。 上来讲实习经历，有什么收获，讲完之后几乎没有问问题，也没有八股文，略惊讶。然后一道链表的算法题，O(n)空间的解法很简答，提示下才找到O(1)空间的思路，最后时间不够了，有bug。 面试官...

我这里有个大模型的比赛，感觉比较好拿奖，还有丰厚的奖金，想找队友     

base北京海淀 主要做nlp语言大模型aigc方向，主要focus on大模型应用，有发paper机会，深度培养。同时欢迎社招和校招 有兴趣的可以si我实习 大模型 #aigc

有从业者或者行业大佬可以提供个大概的学习路线图吗？