B站大模型一面

LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?RAG技术：RAG(检索增强生成)的完整链路包含哪...

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。  

上期写道刚开始面试的时候，这期写一写5月11号时候，这个时候手上就已经有两三家offer了，然后去北京的前一两天又发了三家offer随便选了个离公司近的工资高点的就去了。那么这期还是讲一下怎么去面试。其实面试的东西都一样，就是说你干过什么，回答问题就行了你要考虑的，不是这么去背八股文，而是要去琢磨到底要不要去实习，我个人而言，我最开始是因为电脑配置带不动才去好点的公司有好的卡给我用，然后呢去了也有工资，但是我的自由被限制了，我没法再天天琢磨新玩意我很痛苦，然后学会了怎么摸鱼，人家都是9点半来，我一开始是8点40到，我现在就吃了早饭再去差不多9点能到（就尽力偷懒还是最勤奋的那一批，因为人家都是老...

1.能通俗解释一下什么是近端策略优化（PPO）吗？它在基于人类反馈的强化学习里扮演啥角色？2.直接偏好优化（DPO）和 PPO 比，最大的优势是什么？为啥说它计算成本更低？3.听说 DPO 有个小缺点，泛化能力不如在线方法，你能结合实际例子说说为啥会这样吗？4.DeepSeek-R1 的核心技术 GRPO（广义强化学习策略优化），它设计的纯 RL 环境和之前的方法有啥不同？那个内在奖励机制又是怎么运作的？5.用大白话讲讲，GRPO 里的置信度量化作为内在奖励，是怎么帮助模型优化推理路径的？6.DeepSeek-R1 用思维链（CoT）优化，让模型的数学和代码能力变强了，具体是怎么通过 RL 让模型生成结构化反思的？7.阿里 QwenLong-L1-32B 在长上下文推理上表现不错，它用的渐进式上下文扩展和混合奖励机制是咋配合，让模型处理 13 万 token 长文本的？8.如果现在要做一个语言模型项目，在 PPO、DPO、GRPO 里，你会优先选哪个？为什么？9.从 PPO 到 DPO 再到 GRPO，这些技术的演进，反映出强化学习在语言模型优化上怎样的发展趋势？10.结合你做过的项目，谈谈如果引入 GRPO 和思维链优化，可能会给项目带来哪些改变和挑战？