📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。    

✅一面1️⃣深挖多模态论文2️⃣介绍transformer架构3️⃣详细说一下Decoder的因果注意力 QKV分别来自哪4️⃣Attention为什么要做scaled 不做会怎么样 为什么用根号d_k5️⃣Transformer怎么做加速训练（KV缓存） 训练和推理有什么区别（并行化）6️⃣深挖多模态大模型论文用的video-llama 讲一下大模型的结构7️⃣论文用了CoT讲一下论文的CoT是怎么样的8️⃣微调用的LoRA介绍一下LoRA9️⃣LoRA初始化怎么做的，用的秩是多少，为什么不选其他的数1️⃣0️⃣知道deepspeed和megatron吗？分别介绍一下1️⃣1️⃣论文用的deepspeed详细讲了一下三个stage分别是什么✅二面1️⃣深挖多模态和大模型的论文2️⃣Decoder文本生成有哪几种方法3️⃣还知道哪些多模态大模型4️⃣介绍一下ALBEF、BLIP5️⃣BLIP2的结构是什么  两阶段怎么训练的 有哪些损失6️⃣知道PEFT吗 讲一下LoRA7️⃣还有什么微调方法 -> prefix-tuning和P-tuning 两者分别是怎么做的 为了解决什么提出的8️⃣后面就是一些场景题✅三面1️⃣深挖论文2️⃣讲一下multi-head attention 用pytorch手撕一下 要可以实现cross attention的3️⃣讲一下你用的大模型是什么结构 特征是怎么喂给大模型的4️⃣大模型训练为什么不用SFT5️⃣LoRA是什么？有什么好处6️⃣知道RLHF吗？讲一下训练流程7️⃣接下来就是好几个场景题，电商相关的，用大模型解决prompt应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✅一面对着项目问的比较多1️⃣线性回归的假设条件是什么2️⃣介绍lstm，transformer这些3️⃣transformer 相比于 seq2seq，它的增量点在什么地方4️⃣因果推断和（事件发生前拟合一个模型，使用这个模型对事件发生后进行预测从而得到效应），增量在什么地方，有哪些本质上的区别（跟我的项目相关）5️⃣对于销量预测模型，你有什么思路；怎么进行模型选型；如果没有其他特征，只有按时间变化的销量，可以怎么预测？6️⃣一个人投篮的命中率是60%，是投10次至少命中7次的概率大，还是投100次至少命中70次的概率大（大数定律）7️⃣手撕：两个椭圆x^2+y^2/2=1,x^2/2+y^2=1，求这两个椭圆相交部分的面积（蒙特卡洛模拟，好像还可以使用极坐标直接求解，忘了）比较注重数理（可能也是因为我是数理出身）✅二面1️⃣50个黑球和50个白球，分别放进两个框，怎么放置，可以让一个人拿到白球的概率最大2️⃣一个细胞的生命有三个小时，每个小时都会分裂一次，到T时刻会有多少细胞呢？3️⃣希望在算法岗从事什么样子的工作？4️⃣技术栈有哪些？5️⃣是否了解大模型？6️⃣大模型灾难遗忘怎么解决7️⃣是否了解微调、量化？8️⃣大模型应用场景是什么？9️⃣Pytorch 算法框架是否熟悉？✅三面1️⃣问对深度学习那块比较熟，回答时序预测，问有无读过现在的SOAT方法，回答无（没读过啥paper）2️⃣什么样的embedding是好的embeding，怎么评估3️⃣选择unieval模型是怎么做的模型选型4️⃣拿到一个新方向是怎么调研的，怎么去找论文的5️⃣介绍 transformer，每个encoder的结构是什么6️⃣介绍 self-attention7️⃣怎么理解q，k，v8️⃣可以使用同一个W_q和W_k吗9️⃣为什么q×k之后要scale，d 是什么1️⃣0️⃣时空图（论文，但是别人做的这part，自己不太了解了）1️⃣1️⃣手撕：打家劫舍（偏重对算法的理解，和项目实现上的一些细节）📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✅一面1️⃣时间:1h+自我介绍2️⃣项目介绍:问的很细，过程中不停打断提问算法竞赛项目，整体数据处理流程、模型效果评估方法、心得体会3️⃣八股:简单介绍一下 BERT 和 TransformerAttention 和 self-attention 有什么区别？4️⃣Transformer 的复杂度Bert 用的什么位置编码，为什么要用正弦余弦来做位置编码？还知道其他哪些位置编码？5️⃣除了 bert 还做过哪些模型的微调？为什么现在的大模型大多是 decoder-only 的架构？6️⃣讲一下生成式语言模型的工作机理用过 LoRA 吗？讲一下原理？7️⃣算法题最大子段和跳台阶其他问后续安排和实习时长，以及反问✅二面1️⃣自我介绍2️⃣项目:深挖八股Transformer 结构和 LSTM 的区别和优势，Transformer 怎么体现时序信息？3️⃣Transformer Encoder 和 Decoder 的输入输出和结构BatchNorm 更多用在视觉上，LayerNorm 更多用在语言上，为什么有没 chatGLM，LLaMA 等部署、微调经历？4️⃣有没有了解过大模型加速推理？5️⃣讲一下 Flash Attention?6️⃣算法题先说思路再写代码1、数组中的第K个最大元素2、数组 nums 表示若干个区间的集合，请你合并所有重叠的区间，并返回一个不重叠的区间数组，该数组需恰好覆盖输入中的所有区间。输入: nums =[[1,3],[2,6],[8,10],[15,18]]输出：[[1,6],[8,10],[15,18]]📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师为大家整理了部分推荐算法面试经验。供各位同学参考。✅一面1️⃣首先是做自我介绍，这个可以提前准备一下介绍简历中写的论文2️⃣问做的东西在工业界有没有一些应用场景，可以发散的聊一聊问了下之前实习主要是做些什么，有什么收获或者感想召回常用的一些方法3️⃣FM，DCN等推荐相关的知识写代码，一道工程模拟题，实现一个类和三个函数，分析时间空间复杂度，然后优化提问环节✅二面1️⃣自我介绍完做了二十分钟的产品调研2️⃣聊一聊推荐系统知识，对推荐系统的掌握程度。如实说了，在学校没有做过推荐相关的项目3️⃣让我介绍了下常见的算法模型，协同过滤、矩阵分解，FM，DCN的原理以及优缺点4️⃣问了一下Wide&Deep模型的原理5️⃣推荐系统怎么做新用户冷启动推荐系统中的一些带bias的场景6️⃣怎么debias写一道代码题，三角形中最小路径之和提问环节✅三面1️⃣自我介绍以及介绍论文推荐系统中debias的方法，比较开放性的讨论2️⃣多任务学习中推荐系统中的应用给了一个场景，让设计一个推荐系统架构，然后分析存在哪些问题。3️⃣多任务学习的参数共享及不共享参数各自的优缺点，然后从这两个角度分别去设计模型，包含特征交叉，embedding之类的。4️⃣一道代码题，只写出了最简单版本，分析时空复杂度，然后有优化的思路，代码没写出来，结束了看了下是leetcode hard题。5️⃣提问环节HRBP面问了对推荐这个岗位的了解，以及为什么选择推荐📳对于想求职算法岗的同学，***************************

今天老师给大家详细分析一道大厂算法面试真题：为何LoRA初始化B=0而A为高斯分布初始化？供各位同学参考。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

面试官：目前有哪些post-training方法今天老师给大家详细分析一道大厂算法面试真题:目前有哪些post-training方法，供各位同学参考。✅回答：当前主流的后训练方法包括监督微调、基于人类反馈的强化学习（RLHF）、直接偏好优化（DPO）、专家迭代（EI）以及它们的变体（例如：RLAIF、PPO、ORPO、）。然而，后训练方法在LLM部署之前增加了一个相当复杂的过程。✍🏻详解：1️⃣基于人类反馈的强化学习（RLHF）： 基于人类反馈的强化学习是一种将人类偏好和意见引入强化学习过程中的方法。RLHF将人类的反馈作为奖励信号来指导模型学习。人类可以通过提供对模型行为的偏好、反馈或排序，帮助模型更好地调整策略来适应人类的偏好，就是更懂你。2️⃣直接偏好优化（DPO）： 直接偏好优化是一种优化技术，主要通过直接学习模型在不同情境下对不同偏好的评估，来提高模型的性能。注意，它是直接优化偏好，在本质上其是通过排序的思想构造了一个优化函数，然后推导为最后可直接优化的损失，比起来RLHF的思想它更简单，大体就是改个损失就可以了。3️⃣专家迭代（EI）： 专家迭代是一种通过模仿专家行为并不断迭代改进模型的方法。在专家迭代过程中，模型首先通过观察专家的行为来学习。然后，通过模拟和优化这些行为，模型根据专家的反馈或策略进行改进。这个我没有用到过，只能说个大概。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师给大家分享大模型项目准备经验，供各位同学参考学习。1️⃣大模型流程✅数据处理：1.参考 deepseek 、 llama 、 qwen 等技术报告的数据清洗工作；2.强烈建议使用 Data - Juicer 做启发式数据清洗工具；3.做数据多样性探索，保证 Prompt 的多样性；4.做数据质量增强，用强基座做数据改写等。做拒绝采样保证 response 的" Online "性质。✅开始训练：1.卡多做 CPT ，没卡就基于 Base 模型做 Post - Training ;2.不同规则的模型调参差异大，参考大厂技术报告和其他博客；3.试试不同的训练策略，有挺多 fancy 的增量预训练和 Post - Training 方法，多试试；✅评估 Case :1.在常见的 Benchmark 上看看效果，脚本都有现成的；2.不要只看指标和 loss ,多分析 case ，知道加什么数据，摸清模型的边界能力，持续迭代优化模型能力；3.基座或者 Chat 作为 Baseline ，对比看看效果。2️⃣做一个垂域大模型项目资源准备：你需要准备至少4张3090级别的显卡，核数足够多的 CPU 。✅前期准备：1．调研业务，设计业务场景，分析可行性（数据，技术，实用性）;2．会爬虫；3.需要留钱买 API ;✅数据处理：1．爬的数据很脏，一定要做数据清洗；2.如果垂域没那么垂直，比如法律方向，大概率 Base 模型见过了，可以选择不做垂域和通用的数据配比；评估 Case :搞两个 Benchmark ，垂域和通用的，通用不能掉点太多;评估下一致性，从训练集里按任务分层抽样看看 case ;3️⃣做一个大模型应用做完上面两个项目后，其实都可以在此基础上构建一个大模型应用，目前最多的就是 rag 或者 agent 嘛，讲讲如何构建一个 RAG 。✅前置能力：1．学下 Langchain 和 Llama - index ;2.看看简单的 workflow 怎么做的，强烈推荐看看 Anthropic 的《 Building effective agents 》;3．有一定的工程能力。✅参考框架：1.Langchian- Chatchat ，之前笔记就推荐了， rag 很有影响力的开源项目，而且可优化点多；2.Qanything;3.自己手搓个 workflow .可优化点：内容供给；重排策略;微调 embedding ;意图分流单独训个 agent ;优化归纳📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系

今天老师给大家分享推荐算法3轮面经，供各位同学参考。1️⃣第一轮1、先自我介绍，我的习惯是经历简单介绍一下，然后自然转向准备最充分的一个项目开始详细讲，面试官感兴趣的话最好，不感兴趣的话会直接打断的。主要介绍了项目的背景，难点和解决方案，面试官关心的点主要集中在问题抽象和损失函数，讲清楚为什么这么做，项目大概聊了半小时左右2、机器学习基础：推导 lr，写出loss和梯度（比起推导svm来说简直就是送分题，要是写不出来的话估计会直接挂，基础还是要好好准备）3、算法 链表对折 1 2 3 4 5 变成 1 5 2 4 3拆解一下题目，(灵活)找到链表的中点 牛客题霸: 链表中倒数第k个节点 是找中点的复杂版，都是双指针解法翻转后半段链表 牛客题霸: 翻转链表合并两个链表 牛客题霸: 合并两个有序链表 是复杂版2️⃣第二轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、算法题 m*n的二维数组，只能往右或者往下，找最短路径，n空间 牛客题霸: 矩阵的最小路径和3、有了解过设计模式吗？(答了常见的工厂模式和单例模式，对应的应用场景，简单扯了一下装饰器模式，也是看xgb源码看到的，其实不会用)4、系统设计需要注意什么，如何设计一个系统，系统性能如何评估，需要考虑哪些指标（考察点应该是线上的系统了，指标比如内存使用率，qps，99 39 49时间之类的）5、之前帮阿里云录制过一些深度学习的入门课程，简单聊了一下相关的内容3️⃣第三轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、介绍xgbgbdt和xgb的区别(居然没有问lgb)怎么选最优分裂节点，怎么加速，预排序有什么作用，怎么分箱，等宽还是等深怎么处理缺失值的，预测时候缺失值怎么办3、为什么离职，希望一份什么样的工作4、有没有什么问题想要了解的（问了业务场景 工作内容）📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天给大家分享一下，在面试中，大厂面试官如何去判断算法岗面试者的能力。本期分享主要针对实习和校招求职，社招下期在进行分享。🌟针对算法岗主流的方向，比如CV/NLP/LLM/多模态/AIGC/搜广推等等，面试中存在一些算法岗考核的共同点。1️⃣项目质量：主要通过从面试者的描述中，提取关键信息，比如解决什么关键问题，是否有系统性的优化思路或者创新点，以及最终能达到什么样的指标/效果。里面包括实习项目/横向课题/实验室项目等，无论是什么类型，都要对问题和解决方案有深度理解才行。2️⃣逻辑表达能力：结合第一点来考察，具体体现在是否可以在5-10min内把经历讲清楚。3️⃣基础知识：具体不同岗位考察的侧重点不同，会分为两部分，比如项目相关的基础知识以及纯粹的八股问题。如果面试大模型岗位，一些基本的LLM架构/训练方法/RAG等是重点。如果是搜广推，则是业务问题和机器学习概念为主。如果是面试AIGC算法岗，Diffusion/DIT/新方法等都可能会涉及。4️⃣代码能力：以leetcode为主，能AC并且能够进一步优化时间复杂度最好。如果不能完整AC，要能讲出代码和优化思路，但是也有不通过的可能。5️⃣头脑灵活度和学习能力：主要通过提出公司内部目前面临的问题，让面试者讲自己的想法。比如阿里/字节很喜欢这种方式，一方面有机会获得可行的思路，另一方面，如果回答能出乎面试官意料，就很加分。✴️关于我们：真实大厂在职（阿里/腾讯/百度/字节）的资深算法工程师，致力于帮助更多同学进入算法行业，推动行业发展！    

通过大厂辅导老师，我走了哪些捷径想要进入互联网行业，从事高薪算法工作的朋友，如何走捷径，拿到算法 offer ？✴️自我介绍：我是转行进入算法行业，没有专业经历，但现已入职大厂，并且实现薪资大幅提升。✴️弯道超车:刚开始转行缺乏具体规划的时候，找了来自阿里，字节，腾讯等一线互联网大厂的在职算法工程师团队进行辅导，针对当前热门的算法就业方向，老师带着做大厂的算法项目，注重实践能力和面试能力的提升。✴️项目方向（热门方向）:1️⃣AIGC图像生成2️⃣多模态大模型3️⃣大语言模型4️⃣搜索，广告，推荐5️⃣自动驾驶我选择了1️⃣AIGC图像生成和2️⃣多模态大模型两个方向。✴️项目辅导流程：形式是1V1上课＋课后实践＋答疑。具体包括：理解项目流程，实践项目代码，学习方法原理，梳理面试问题，修改简历，提供虚拟面试等内容。✴️时间：老师会根据我的时间灵活安排课程，整个辅导我花了2个月左右，但后续也会因为各种琐事叨扰他们，他们是我在大厂的第一份人脉，哈哈🤗✴️成果：最终我的简历上增加了两个高质量的项目，相当于我的实习经历，并且有了这两个项目做基础，我的简历提升和面试过程就轻松了些，现在已经成功上岸！