大模型面经

#简历中的项目经历要怎么写# #大模型# #互联网大厂招聘# #算法岗面试# #大模型面经#

拷打项目，时长30分钟1. 微调的数据配比，数据来源2. 微调的任务类型，轮次3. Embedding用的什么模型，是分块Embedding吗4. 数据怎么分块5. 数据返回的查询top6. 微调之后对比之前的模型性能提高了多少7. 数据库实时更新还是离线更新8. 用的什么数据库9. 本地部署的框架如何搭建10. 如何评估rag11. Qwen2.5 vl架构12. 有相关的实习吗？实习期间做了什么？13. 主要做文本还是多模态方向？14. 做了一些小项目吗？

1️⃣一面 时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。

【拼多多集团-PDD校园招聘】 云弧计划内推链接：https://careers.pddglobalhr.com/campus/grad/detail?t=tNP3g65CU6内推码：tNP3g65CU6大模型算法工程师通过此链接投递计入内推，内推简历优先筛选

📍面试公司：B站💻面试岗位：大模型❓面试问题：手撕多头注意力机制，然后问了为什么除以dk，除了注意力，transformer还有什么，batch norm和layer norm的区别，非线性是谁提供的对比学习的loss聊了很久的论文，具体都有什么场景dpo和ppo的区别，包括理论上，还有项目实际落地闲聊+反问🙌面试感想：体验良好，整体氛围很轻松

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师为大家梳理了字节算法岗关于大模型Rag的面试题，供各位同学参考。1️⃣ LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?2️⃣Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。3️⃣位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?4️⃣Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?5️⃣RAG技术：RAG(检索增强生成)的完整链路包含哪些步骤?为什么它能提升生成质量?6️⃣大模型幻觉：大模型产生幻觉的根本原因是什么?7️⃣显存计算：7B 模型在训练和推理时的显存占用如何估算?显存与参数量、批次大小、序列长度的关系是什么?8️⃣实习与论文：详细说明实习中解决的一个技术难点，涉及哪些模型或算法?如何评估效果?9️⃣链表操作：删除链表倒数第 N 个节点的算法思路?如何用双指针法实现?边界条件(如头节点删除)如何处理?📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师给大家分享推荐算法3轮面经，供各位同学参考。1️⃣第一轮1、先自我介绍，我的习惯是经历简单介绍一下，然后自然转向准备最充分的一个项目开始详细讲，面试官感兴趣的话最好，不感兴趣的话会直接打断的。主要介绍了项目的背景，难点和解决方案，面试官关心的点主要集中在问题抽象和损失函数，讲清楚为什么这么做，项目大概聊了半小时左右2、机器学习基础：推导 lr，写出loss和梯度（比起推导svm来说简直就是送分题，要是写不出来的话估计会直接挂，基础还是要好好准备）3、算法 链表对折 1 2 3 4 5 变成 1 5 2 4 3拆解一下题目，(灵活)找到链表的中点 牛客题霸: 链表中倒数第k个节点 是找中点的复杂版，都是双指针解法翻转后半段链表 牛客题霸: 翻转链表合并两个链表 牛客题霸: 合并两个有序链表 是复杂版2️⃣第二轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、算法题 m*n的二维数组，只能往右或者往下，找最短路径，n空间 牛客题霸: 矩阵的最小路径和3、有了解过设计模式吗？(答了常见的工厂模式和单例模式，对应的应用场景，简单扯了一下装饰器模式，也是看xgb源码看到的，其实不会用)4、系统设计需要注意什么，如何设计一个系统，系统性能如何评估，需要考虑哪些指标（考察点应该是线上的系统了，指标比如内存使用率，qps，99 39 49时间之类的）5、之前帮阿里云录制过一些深度学习的入门课程，简单聊了一下相关的内容3️⃣第三轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、介绍xgbgbdt和xgb的区别(居然没有问lgb)怎么选最优分裂节点，怎么加速，预排序有什么作用，怎么分箱，等宽还是等深怎么处理缺失值的，预测时候缺失值怎么办3、为什么离职，希望一份什么样的工作4、有没有什么问题想要了解的（问了业务场景 工作内容）📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师给大家分享推荐算法3轮面经，供各位同学参考。1️⃣第一轮1、先自我介绍，我的习惯是经历简单介绍一下，然后自然转向准备最充分的一个项目开始详细讲，面试官感兴趣的话最好，不感兴趣的话会直接打断的。主要介绍了项目的背景，难点和解决方案，面试官关心的点主要集中在问题抽象和损失函数，讲清楚为什么这么做，项目大概聊了半小时左右2、机器学习基础：推导 lr，写出loss和梯度（比起推导svm来说简直就是送分题，要是写不出来的话估计会直接挂，基础还是要好好准备）3、算法 链表对折 1 2 3 4 5 变成 1 5 2 4 3拆解一下题目，(灵活)找到链表的中点 牛客题霸: 链表中倒数第k个节点 是找中点的复杂版，都是双指针解法翻转后半段链表 牛客题霸: 翻转链表合并两个链表 牛客题霸: 合并两个有序链表 是复杂版2️⃣第二轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、算法题 m*n的二维数组，只能往右或者往下，找最短路径，n空间 牛客题霸: 矩阵的最小路径和3、有了解过设计模式吗？(答了常见的工厂模式和单例模式，对应的应用场景，简单扯了一下装饰器模式，也是看xgb源码看到的，其实不会用)4、系统设计需要注意什么，如何设计一个系统，系统性能如何评估，需要考虑哪些指标（考察点应该是线上的系统了，指标比如内存使用率，qps，99 39 49时间之类的）5、之前帮阿里云录制过一些深度学习的入门课程，简单聊了一下相关的内容3️⃣第三轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、介绍xgbgbdt和xgb的区别(居然没有问lgb)怎么选最优分裂节点，怎么加速，预排序有什么作用，怎么分箱，等宽还是等深怎么处理缺失值的，预测时候缺失值怎么办3、为什么离职，希望一份什么样的工作4、有没有什么问题想要了解的（问了业务场景 工作内容）📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✅第一轮 抖音推荐算法一面✴️1、项目问了一下快手的工作2、八股介绍一下MMOE,极化现象知道吗，如何解决？L1和L2的区别介绍一下bn过拟合还有什么其他方法3、code最大子数组和链表交替打印4、反问业务是图文推荐，据说老板很重视，冲冲冲✅第二轮抖音推荐算法二面✴️1、项目介绍了一下快手实习，很深入探讨2、code隐马尔可夫模型，牛逼我只能说给定PI, Q, P矩阵，玩N次游戏，求N次游戏得到的R的概率刚开始说了个暴力解，然后在面试官提醒下，弄出来个DP算法，非常考验数学和DP的理解3、八股Adam的公式，额外的开销AUC定义，AUC如何计算，如何优化介绍一下self-attention📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

三次技术面 1. 自我介绍 + 论文讲解 + leetcode easy + 反问2. 自我介绍 + 论文讲解 + 非 leetcode hard + 反问3. 自我介绍 + 论文讲解 + 开放式问题（技术探索）无八股拷打 感觉很 nice

📍面试公司：美团👜面试岗位：算法📖面试问题：主要分了两部分，简历里项目，论文，竞赛和手撕。项目是穿插着八股问的，下面是涉及到八股的一些问题1.如何缓解大模型的复读机问题和幻觉问题2.讲一下大模型的采样3.为什么做了sft还要做ppo4.讲一下qlora的好处5.讲一下ppo的四个模型6.sft数据的多样性怎么保证7.dpo和ppo相比的优势在哪里8.有没有考虑过rag，具体怎么实施的手撕是基础的单头注意力，写完之后问了怎么改多头，为什么要除以根号dk和单头改多头的参数量会不会变。反问问了一下业务和对于大模型定量计算的看法🙌面试体验：体验不错，没答上的地方也只是说下去看看。

📍面试公司：美团👜面试岗位：算法二面📖面试问题：拷打简历的论文，项目和竞赛。非常细节。穿插的八股主要集中在ppo和lora，关于ppo的四个模型和actor loss，lora具体的精度改变。手撕层序遍历和反转链表（层序遍历bug没改出来）🙌面试体验：体验不错，就是我太菜了许愿团子收留我，不想面了

📍面试公司：小鹏汽车💻面试岗位：nlp算法-大模型❓面试问题：自我介绍然后介绍实习1. 拷打实习，包括数据构造和一些细节的微调和强化学习具体怎么做的2. 场景题：用户诉求模糊的时候怎么尽量避免3. 手撕：好像不是leetcode，有序数组，后一位比前一位的两倍还大，找是否存在两数之和是target🙌面试感想：0八股的面试，全是聊天和场景

📍面试公司：阿里淘天👜面试岗位：大模型算法📖面试问题：最开始是自我介绍先拷打了论文和项目问了两道大模型八股，lora和deepseek的进展一道业务开放题反问环节🙌面试体验：体验良好，面试过程非常轻松，面试官也很温和。

作为AI产品经理，大模型选型需要从业务目标、技术特性和资源投入三个维度进行系统性评估。分步骤的选型：1. 场景需求拆解- 任务类型：区分生成式（GPT）、理解式（BERT）、多模态（CLIP）等任务需求- 性能指标：明确时延要求（如对话场景<2s）、准确率阈值、内容安全等级- 输入输出：处理文本长度（如法律文本需支持10k tokens）、多语言支持需求2. 技术参数评估- 模型架构对比：Transformer层数（如LLaMA 7B vs 13B）、注意力机制差异- 性能基准测试：在HuggingFace OpenLLM Leaderboard等榜单比对MMLU/HELM得分- 领域适配性：检查是否经过垂直领域微调（如Med-PaLM 2医疗专用模型）3. 成本效益分析- 推理成本计算：API调用成本（如GPT-4 $0.03/1k tokens）vs 自建GPU集群成本- 算力需求评估：模型参数量与GPU显存关系（7B模型需至少16G显存）- 长尾运维成本：监控维护、版本迭代、安全补丁更新等隐性成本4. 工程化适配度- 部署方案验证：测试ONNX转换效果、量化后精度损失（INT8量化典型损失2-5%）- 扩展能力测试：分布式推理效率、最大并发请求承载量- 工具链完整性：配套的Prompt工程工具、评估体系、持续训练Pipeline5. 风险合规审查- 数据隐私合规：评估模型训练数据来源合法性（如排除版权争议数据）- 输出可控性：测试有害内容生成概率及防护机制有效性- 许可证审查：确认商用限制（如LLaMA商用需单独授权）6. 迭代路线规划- 短期方案：采用API快速验证（如Azure OpenAI）+ RAG增强时效性- 中期过渡：微调行业小模型（LoRA适配器方案）- 长期演进：构建混合模型架构（大模型+规则引擎+传统ML）

如题，我目前在字节做后端的实习，此前有一段知名开源经历和中厂后端实习，但是觉得开发工作枯燥而且工资比不上算法，职业上限也是算法更高。再说算法，目前是中了一篇一作顶会llm方向，n作的数篇，没有算法实习，这个bg做llm如何？目前算法刷的还挺多，Python手撕也有在刷，背背八股可以去大厂吗，也不是想做基座这种硬核方向，蹭个应用方向也可以。还请各位大佬指点迷津

已签腾讯 投递了大中小共30+公司目前看来大模型相关的岗位主要是大厂在招人投递的中小厂除了理想和巨人网络都没有约面大厂阿里腾讯字节蚂蚁都顺利约面了如果方向对口的话流程推进会非常快，腾讯从一面到oc共7个工作日整体面试下来感觉面试更看重项目落地，方向最好够深入我做的是数据相关工作，基本上大厂面试只问了我项目和数据处理流程，没有问八股手撕只需要刷hot100即可，一道手撕题前一天字节考完，第二天腾讯又考了一遍祝各位顺利上岸

主要是大模型，也有搜推问的，整体都不难手写多头注意力机制（两次）合并k个有序链表复杂度为logn的排序最长无重复子串的长度买卖股票的最佳时机二叉树的层序遍历反转链表无重复字符的最长子串