凉透了啊，主要是基础的机器学习知识不会。。。1.自我介绍2.实习介绍3.实习经历提问如果有一个无限长文本的大模型，和一个有限长带知识库 rag 的大模型，你怎么利用他们解决长记忆？调 prompt 过程有哪些问题？prompt 样本多了效果变差你理解是什么原因？简单介绍一下 peft 微调和他们的优缺点。peft 训练的时候有没有注意他们训练的时间长短比较？你觉得你这个对齐用 RLHF 会不会更好一点？其他的忘记了尴尬的开始了，面试官硬要问我机器学习 hh（这个毕竟不是一直做算法，很多基础课都很差）先问 cos 距离和欧式距离是否是同步增和减？（会不会出现一个增另一个减的问题。我没推出来）面试官：你这下去看看，这是 rag 向量检索的基础。写了个代码题字典数面试官：还是要问点机器学习的。。。交叉熵公式写一下（慌了，好几个月都没复习这个了🥲，真记不起来，反正各种提示也不记得，寄）面试官：这种基础的都能忘记啊？那你再讲讲 self attention 的计算的流程啥的，中间的维度，softmax 对行还是对列？（这块应该没啥问题）面试官：再问点什么机器学习的呢？交叉熵都不记得了，看看你简历有啥。（思考了一会）算了，就到这里吧，你看看你有啥要问的。这个时候面试已经一个半小时了😭😭代码题后及时结束多好。。还是要回去复习基础知识了。心碎啊

现在基本都是项目为主，美团面试官也比较好，不太刁难人。1.自我介绍2.项目介绍针对项目提问3. 我们如何评估模型训练数据的质量（从定量和不能定量两个角度）4.RAG 长记忆检索的时候怎么提高召回率的？5.记忆能解决你们 prompt 过长吗？6. 模型质量怎么评估的？7.讲一下最近看过什么论文？代码题：编辑距离几乎没有问八股，项目聊天 45 分钟，15 分钟代码。问业务，是做知识增强和 rag 解决幻觉的，属于美团大模型基座团队。

面感不错，业务比较匹配。。。没想到现在做拟人对话的这么多。1.自我介绍2.详细介绍了商汤实习项目（感觉又被套了方案）针对项目的一些提问1.有没有用过 GPT 之类的模型对你们的数据进行打分评价？2.有没有考虑训练一个奖励模型去评价你们的数据（感觉可能是他们的一些方案遇到了问题）3.介绍一下 DPO 和 PPO4. PPO 有几个模型（4 个，但是我没记起来评论模型，说我想不起来这个名字了，其实具体训练细节也忘记了）5.DPO的 loss 公式记得吗（确实不记得）6. rag 和 sft 的区别（这两不是一个维度的啊，就大概讲了一下自己的理解，应该没啥问题）7.Transformer 结构。（从头到尾仔细说了一遍）代码题最长回文子串反问发现业务几乎一样，难怪项目问那么细致整体而言就是 RLHF 两个知识点没回答好，感觉问题应该不太大。

登录网址没问题，不是实习那个。手机号也没问题。现在就是上面的简历 投递记录都不见了😵‍💫就算挂人也不至于直接从系统删除吧有其他同学遇到相似的问题吗

1. 给一个 01 组成的字符串，k 次操作，每次都可以改一个 0或者 1 为 1 0，k 次是否能刚好变回文。 坑在于奇数长度是可以让 k—dif 余 2 为 1 的。不然容易*0%。2.题 棋盘这个 没啥 就正常模拟3. 图论，不会。题目我都读半天没看懂，后面才懂是说 生成树的最小的边 最大。 然后不会写了。。。。求思路

不得不说快手的面试体验是真好，不会让我很压力。大模型一面挂了，没想到被这个捞了。面试官不会问我没接触的，还是很好的。1. 自我介绍 2.实习简单介绍了一下他们是做安全的，就先问了很多安全的知识3.实习中，安全对齐现在是怎么做的4. 安全数据你们是怎么构造的5. 开放场景题（现在快手有一些视频图片文本等帖子，底下评论很多可能设计 sq zz 等安全问题， 如果是你，你会怎么去设计来解决这个安全问题？）（我： 情感分析  实体信息抽取  主题分类  模型微调 xxxx 随便大杂烩）6. 讲到了一下 DPO，就问 PPO 和 DPO 有什么区别？（奖励模型优化了）7. 你觉得 DPO 训练，可能会出现什么问题？问了问我做没做过 CV，没有。 后面问集中在transformer，估计是他 CV 做的多。8. transformer 的结构整体介绍一下7. 位置编码介绍一下？为什么 ROPE 等相对位置编码会有比较好的外推性？（瞎讲）8. 讲一下 BatchNorm 和 LayerNorm。为什么 transformer 是 LayerNorm？9. 是 Post 还是 PreNorm？ 这两个有什么优缺点？（我说反了。。。Pre 更训练稳定，Post 更性能好。。面试官还问我，是哪个更稳定？我还搞反了。。。）10. 两个 Norm 都需要 warm up 吗？（第一次被问这个，之前完全没看过，如实说了）11. 后面就问了 attention K Q V 怎么来的？ decoder 第二个的 K Q V 来源12. 训练和推理的时候的不同，会不会有影响？（就是如果推理预测的第一个 token 不一样，会不会错误累计？）后面还问了一些啥忘记了，代码题路径之和 3面了一个半小时，代码题搞得稍微久了点， 提问一个小时。

很无语，面的很红温， 但是也还是有很多自己认为需要补进的地方。BOSS HR 跟我说是 NLP，实际上他说是什么预测什么的，文本也是一种。1.自我介绍（后面打断，让我选一个有趣的项目讲）2.项目介绍（我就讲了第一个内容，觉得我说太多了， 问：你们没有什么模型训练或者优化 loss 的地方吗）3. 我讲我们有很多 SFT 的工作（loss 有优化吗？ 大哥，我们就做个文本对齐， 优化什么 Loss 啊都是一套流程下来的）然后就不再问我的项目4.介绍一下 KL 散度，交叉熵（这是我的问题，现在基本都没看这种不那么相关的八股了，问的太少了，公式根本记不住）5.他：你们训练模型怎么公式会不知道。。（我内心：怎么会记住，我又不做这种科研）6.最大似然估计，无偏估计讲一下（愣住， 考研我肯定会，但是现在我怎么讲得清楚，就凭借记忆瞎说）-----接下来开始问 transformer ，我以为能进一下舒适区--------1.讲一下 encoder 结构（刚讲到 embedding，他问，这和embedding 有什么关系。。。我佛了，就好像没理解我的意思）然后他让我用文档随便写一下，不然他跟不上我。2. WQ WK WV 什么维度，维度要一样吗（我也是结结巴巴，推理了一下）3.计算完 attention 之后呢？（我：concat 再 leaner，他：不是，这之前还有啥，我：啊？他可能是理解的是后面 multi head 之后的 leaner，我说那还有 add and Norm）4.那你讲讲 batchNorm 和 LayerNorm，（随便讲了讲）5. 那 pytorch 里怎么实现的？（我说就一般都是减去平均值除以方差，有一些 RMSNorm 可以不减均值6.一般还会有一些其他操作吧？（他说的是 另外两个系数，我就不太知道咋说，我说会有个罚项（本科最优化的名词突然蹦进来了）他就说你这个罚项指的是啥）7. 然后讲 Decoder（有几层 attention，cross attention 在哪里，明明我已经讲过这个了，他还要单独再问一下，真服了）时间不多了，代码题代码题就是给一个二维的二元 0 1 矩阵，返回一个矩阵，每个位置对应最近的 0 的距离题本身不难，他要我先说思路，我说先把 0 值本身遍历，再 BFS（他：时间复杂度多少）我：应该 On 方（太高了不可以接受）我：对于已经 BFS 搜索的节点都可以找到答案，不需要再遍历，应该就是 On(应该是 On 吗？到底是多少。。。。)我：我觉得就是 On，然后尝试写题（他：你先别写，不说清楚写也是错的）。。。（我给你一个思路实现吧，先找到 0，再找到 1）我：就是 0 1 2 这种距离找吗（是的）一道本身不难的题写的我乱七八糟（他：时间到了，你这写的也不对啊，为什么不用 BFS）我：？？？我一开始就是说 BFS 啊，你说不对（他：那为什么你的 BFS 是 On 方复杂度？）我：那我不是说剪枝后是 On 吗？（他：怎么实现是 candidate 的事情，我们只是给建议）我直接被气笑了（内心：你没事吧？没事你就不要建议， 我要正常早就写完了）然后问业务：prediction。。。。以后都不想投这种完全不匹配的了不过至少在八股这一块，其实都是自己应该会的，只是说现在面前都是项目为主，这种八股基本不注意，一般一场面试碰到一两个也无所谓，这种集中爆发也是因为项目不匹配，自己还需要进一步巩固八股。但是面试官是真**这辈子目前遇到的最*的

第一场美团笔试， 只过了 2.5 啊草。1 2 签到题3 5 感觉也没啥复杂逻辑， 案例也过了， 但是都是那种要多行输出的。。。我全是 0%，一个过不去，非常奇怪，自己测试也没搞明白问题。 有没有写过的大佬说一下思路。还有第 4 题我用的回溯超时过50%

一开始会以为问的很难，然后还是集中在项目，八股也比较常见，虽然问的还挺深，我没答出来很多。1. 先写题，dp， 两个字符串最长子序列2.自我介绍3. 挖项目挖了很久4.peft 微调介绍一下5. 常见的位置编码介绍一下6.transformer 的 decoder 和 llama 有啥区别7. 他们的位置编码有啥区别？ 三角函数位置编码和 ROPE 公式很像啊，他们是怎么实现不同的功能？（一个加 embedding 一个加 KQV，但是公式很像但是推理完全不一样吧，不太会答）8. ADAM 比 SGD 优化在哪里（不会，没背这块）介绍一下梯度下降9. 回归任务常用的 LOSS（我还搞成了自回归，然后说现在大模型都是用交叉熵。。。后面反应过来说离散分类任务交叉熵，连续值用 MSE）然后问我二分类用什么，我说 BCE。10. 用 ADAM 的话，怎么预估 SFT 的显存占用？（这个问题好高频啊，感觉现在很喜欢问这种预估显存占用的问题。。。，我也没怎么回答，不太会）时间太久了，就随便反问了一下。

昨天给我发的今天的笔试题，是算法 A 的题。第一题是 n m k，n 每次可以减 1 或者除以 k（需要可以整除），问最少多少次 n 变成 m。不知道为啥就是 0.95 过不去， 超时了。第二题感觉是字符串的背包问题，不会做，用贪心只能过 80%。第三题是给定一个树是二分图， 最多加多少边之后图还是二分图。 只过了 35%

四月中旬之后就没有再投简历，但是到了 5 月反而又有不少被鸽的岗位陆陆续续捞我面试。甚至现在还有不少岗位还在招人，毕竟很多公司尤其是阿里系都是普遍 7 月才去实习的。5 月拒了个钉钉 offer，夸克反复捞起来面了五次还给我挂了。。百度二面在比较中，字节约了三面，快手一面挂了，其他的都懒得面了。感触比较深的是我把这两个月的实习经历写上去后，面试明显顺利很多，所以如果有同学面试没那么顺利，也可以选一个先去，积累一些业务相关的经验还是很有必要的。大概总结一下字节的面试内容，留作日后复习。1. 自我介绍都有2. 项目介绍（基本都是针对最近的实习内容）3. 你认为在上下文越来越长的情况下，Rag 还有必要吗？（和实习相关，有必要，因为目前虽然上下文长，但是对上下文的注意力并不均衡，仍然有很多信息无法被正常利用到，prompt 长度太长影响精度）4. 那你了解现在都怎么提高上下文长度吗？（相对位置编码介绍一些， 还有一些其他的训练数据之类的）5. 介绍一下 transformer 结构，它的位置编码是怎么样的？6. self attention 的 K 和 Q 是干什么用的？（逻辑上来说就是用 Key 和 Query 做配对， 相当于检索，然后计算注意力分数，其实就是检索的配对情况）7. 那如果让 K 和 Q 变成同一个矩阵，你觉得对模型性能影响大吗？（我认为主要是参数量变小了，会有一些影响，如果参数量不变，影响应该不太大？ 面试官说：应该是会断崖下降的，就像你刚刚说的是做配对，没有 KQ 配对注意力计算会变差，不只是参数量的问题）8. 了解 RLHF 吗？奖励模型的训练任务是什么？（不了解 RLHF 没接触过。。。）9. 为什么现在都是 only decoder 结构？10. 模型的预训练了解吗？还有一些和实习相关的问题，不太记得了， 集中在数据生产和 rag 策略的一些内容。代码题（两面 4 道）1. 三数之和离 target 最近的结果2. 一个双指针滑动窗口的 mid 题 忘记了3. 二分法实现 sqrt 精度 0.00014. 判断字符串是否是旋转得到的（就是字符串尾部整体移动到头部，判断两个字符串是不是可以自动得到）字节整体还是重代码题，八股难度中规中矩，很久没准备了也不算难，这种应用部门也很看实际的项目

最近面试少了， 精力放在工作上。 偶尔面试保持手感即可。 今天这个学习意义比较大就记录一下。面试本身没啥特殊的，就是项目+八股+代码。项目问了我的蚂蚁实习， DeepFM 相关的东西和大模型相关的东西。所以问了一些八股1.DEEPFM 介绍一下（聊了一些）2. 还了解别的推荐的模型吗（不了解）3. LLAMA 和别的模型架构有啥区别？4. Llama 用的是什么 norm 和激活函数（都忘记了，两个都答错了，没复习）5. LLAMA 和 Bert 有啥区别？6.flash attention 了解吗？ 怎么做的计算？还有啥忘记了。 写代码题，最长严格递增子序列。（我只会 On 方 dp， 面试官一直告诉我用贪心+二分降低复杂度， 我感觉他是理解错了， 跟我说的思路我感觉是有问题的。 争论了半天， 还是 On 方写了）反问：不重要面试官人还是很好的，教育了我一顿。。。1. 简历为什么要字节放蚂蚁前面， 会让别人认为你是做开发（字节开发 蚂蚁算法）2. 蚂蚁这个实习还是太虚了， 没什么落地价值。 感觉我推荐也不懂，大模型懂得也没他多。 基座大模型肯定面不上， 但是大模型应用坑很多，有机会。 3. 让我之后一定要多补搜广推的知识， 再结合一些大模型的知识，面一个大模型搜广推不难。4. 一定要改简历， 他看我连用户增长这种边缘都挂简历了，很不理解，一看简历写的很差。。感觉他说的还是非常有道理，简历这块已经好几个面试官说了，只是已经摆烂阶段，就没改。 至于学哪方面知识，还是比较重要的。估计很多同学和我差不多，就是半桶水。 所以可以多学搜广推八股， 找个杂交岗位。

算法的面试最近基本上都是项目为主， 也没啥八股，就没写面经。蚂蚁是算法工程 二面，饿了么是 NLP 二面， 智能信息是 NLP 一面。蚂蚁基本没问啥，就是针对项目聊了一会时间。重点是后面的代码题给我整不会了。1. leetcode84 柱状图中的最大矩形（上个月刷了，经典单调栈，但是这题感觉我当时写就不太理解， 面试官问我思路我脱口而出单调栈，但是写不出来）2. 84 没写出来，给我换了一个，149。又是一个 hard（开始无语，就想早点结束给我挂了算了。 这题我也没写过， 暴力肯定不难。 但是我说这个我想不到比较优的解）3. 又给我换了一个， 这次给我一个 easy， 让我把一串字符串的空格移动到最后（竟然还给我做道题，这个时候都一个小时多了已经，我还以为会直接结束）然后面试官让我之后可以把前面两道题代码补进那个网页里（结果第二题没来得及补，就进不去了）智能信息一面，夸克 医疗创新1. 一样聊在蚂蚁实习的算法项目2. 中途问了一下， PEFT 的那几种微调的区别，就大概讲了一下我自己的理解3. 我对大模型训练的流程熟悉吗？（就大概讲了一下全流程）4. 了解 RLHF 吗（不太了解，没做过。就随便讲了一下奖励模型啥的）5. DPO 知道吗（不知道怎么做的，就没问了）6. 你觉得应该从哪些方面一个大模型的好坏？（随便说了几个， 知识储备， 指令跟随， 安全对齐， 对话逻辑）7. 那你认为， 你说的这几种能力，都是在模型训练流程的哪个部分获得的？（挺有意思的问题。 知识储备是预训练获取的， 指令跟随一般是做微调， 安全对齐可能是 SFT rlhf， 对话的逻辑性应该都有关）还有啥不记得了， 也没做代码题。 面后不久就约二面了。我笔试都还没做呢饿了么二面饿了么二面有点深挖项目了， 很多我都不太清楚。1. 项目介绍2. 深入聊大模型梯度攻击（这东西在蚂蚁做的， 每次说这个我都很累， 自己讲的面试官都听不明白， 不懂怎么做的。 然后就会出现很多牛头不对马嘴的问题，饿了么二面就一直卡在一个地方说了很久。3.  那你们这个自回归任务用的 loss 是什么？ 回归任务常用的 loss 有哪些（这我 ** 还真没了解， 就知道 L1 L2 范数这种，或者用 cos距离）还有一些啥不记得了，饿了么二面时间感觉就 40 分钟，也没做题

面试官人挺好的， 最近面的都是算法，开发基本上放弃了，也没准备。 临时被捞，想面看看。1.自我介绍2.拷打字节的实习项目3.问了一下字节项目的一些具体细节4. 问我了不了解 redis（字节实习用到了，但是我说我不懂这个，只会用，就没问了）5. STL map 怎么实现的？（红黑树，具体的我就不懂了）我说我用 umap 更多，哈希表。就问了一下他这个哈希表解决冲突的办法，以及 rehash 的时间。5. C++智能指针你知道吗？讲一下6. C++的多态了解吗？（动态，静态，讲了一下）7. 那你知道虚函数表是什么时候创建的吗？（没理解， 不知道怎么回答。就说构造函数会创建虚函数表指针啥的， 编译时候决定？ 乱说）然后问古早的 webserver 项目。。。8. proactor reactor讲一下（模模糊糊的记忆，上个月复习了，最近没面又忘记了，就大概讲了一下意思。 面试官说我明白你的意思，差不多）9. 心跳机制是干啥用的？（不记得了，瞎扯）10. 你实现的线程池类是怎么起作用的？（就说了一下大概的线程池思路，其实根本没有深入说， 还好面试官也就大概问问。。。。）10. webbench怎么做的（下载的脚本）11. 知道锁机制吗（uniquelock lockguard 之类的）12. 那你知道互斥锁 读写锁区别吗？13. 锁的底层是怎么实现的？（没太理解，就说原子操作啥的）代码题 LRU，给了 25 分钟， 结果有一点 bug 没跑通，面试官让我讲一下思路，然后说思路没问题，有一些小 bug 自己下去看看。整体难度只能说是非常友好了，但是确实是最近已经放弃开发了（都挂了）面试官也一直说明白我的意思，没问题啥的。不知道能不能过