智谱AI

这周一腾讯QQ一面秒挂影响了心情，这周的面经都没写面经的话尽量回忆一下联想一面1. 问了一个比较怪的问题，我没有很理解。就是我项目里面有做RLHF，他就问我的RM怎么训练的，回答给SFT模型加一个线性层输出reward值，然后就问我这个过程需要导什么库？答加载模型需要transformers库，然后问我加那个reward头需要什么库？有点懵，不是很懂他想问什么，加头的做法是参照LlamaforSequntialClassification做的2. 然后其他的都是一些常规问题，不太记得了，没有做题腾讯 QQ 一面1. 主要拷打了一下实习和项目2. 然后问我如果在QQ想做什么，回答了可能做QQ短视频、小世界的一些推荐（给自己挖坑，推荐只是速成了一下，不是很熟悉）3. 然后开始问推荐怎么和大模型进行结合？问开放性问题：怎么去给QQ短视频里面的视频做推荐？怎么挖掘这些视频的标签？ 只能说自己挖坑自己受苦4. 手撕出了一个 寻找目标值，之前面试的时候做过，结果这次做的有些小bug，感觉是这个导致了最后挂字节 广告算法 一面重量级来了1. 上来没有问实习，没有问项目直接开始八股轰炸2. transformer相关经典八股，问了有一个问题我觉得值得说一下，就是问我知不知道序列中每一个token的embedding在经过很多层self attention之后会变得相似的问题以及对应的原因？之前没有思考过，当场思考了一下，意思大概是深层网络往往学到的是序列的全局特征，所以会相似，还有就是每一次做self attention相当于在做平滑。这部分确实还得再想想3. 开始机器学习相关，手撕一个二分类的全流程，从输入到embedding到分类网络到sigmoid函数到交叉熵loss（中间的具体模型用一个函数代替即可）4. 手撕上述交叉熵loss的链式求导，就是loss对p求导，p对sigmoid求导（这里需要记住sigmoid的导数等于sigmoid x （1-sigmoid），不然现场推怕是推不了一点）5. 做一个最长公共子序列，算是常规6. 改成子串再做一遍。。。。（这个还是想了好久怎么改DP的条件）只能说不愧是字节，希望二面不要太折磨人😩中兴 算法工程师（智算）一面会议室里面进来了四个人😨，离谱1. 主要还是问实习和项目2. 其中一个面试官感觉像是套方案，疯狂问我实习部分继续预训练的数据大小、数据配比、数据清洗、训练流程、训练参数、学习率，感觉是遇到这种面试官还真得牢记项目的全流程，一些环节忘了就有点尬了智谱AI GLM对齐团队 一面1. 实习、项目拷打2. 因为是对齐团队，所以很care我有没有关注目前前沿的RLHF方法（前沿的关注不了一点，只能说了一些感觉有点早的东西）3. 大概讲了 从优化PPO出发和优化DPO出发的两类对齐方法，优化PPO的比如deepseek的GRPO，优化DPO的比如一堆DPO变体，以及DPO加正则化的方法。中间还让我从强化学习的角度给出优化PPO的方法，我就讲了一下老本行，从PG到REINFORCE到TRPO到PPO，然后表示我也不知道怎么优化PPO，已经是强化学习工业界用的最广泛的了哈哈哈哈哈4. 手撕了一个transformer的decoder block5. 记忆里应该还是问了Deepspeed跟Megatron智源人工智能研究院 行业大模型 一面1.时长半个小时，主要拷打实习经历，我实习做的也是领域大模型。非常巧的是，面试官也在美团同一个部门实习过，甚至认识我老板，希望不要跟我老板对情况，戳穿我吹牛逼的东西快手 推荐大模型 二面1. 记不太清问了些啥了，感觉是实习主要加LLM的一些经典八股（感觉是不超出我目前写过的面经的范围）2. 手撕了一道最小编辑距离，写的时候有一个地方=写成==了，一直检查不出来，给面试官逗笑了京东 NLP 二面1. 主要拷打实习，比较关注数据质量处理，以及模型评估方面，会care具体上线业务没有2. 一些常规的LLM八股，有一个问题值得说一下。问了一个LLM推理的时候，如何从prompt到response？他想问的意思其实是LLM出来的结果不是prompt+response嘛，然后怎么去把response分出来，还说具体的代码里面会有一些额外操作，不是简单的截取然后decode，让我下去仔细看看3. 手撕了一个topk，我直接heapq.nlargest，面试官说也行哈哈哈哈哈中兴 算法工程师（智算）二面1. 这一面感觉是很HR面的感觉，介绍实习的时候也是比较关注数据的来源、处理、采样方面，然后是聊天，各种查户口面试时间硬是拖到一个小时，本来预约的是半个小时。。---------------------------又是忙碌的一周，感觉是腾讯给我秒挂了真的很影响心情，毕竟是最想去的厂了麻花腾！再给我一次👅的机会吧