字节抖音搜推大模型算法面经分享

继续来分享下最近的面经~欢迎友好讨论，信息共享1.项目背景2.要解决的问题3.要解决问题的难点4.技术方案选型5.最终如何确定技术方案6.Qwen3-VL embedding 是怎么做的7.是怎么提取图片的8.用的什么提取器9.最终怎么嵌入到文本里10.怎么定义 DPO 训练集是高质量的11.DPO 训练数据量是怎么确定的12.数据量确定是拍脑袋，还是有原则13.为什么不用 SFT14.SFT 数据质量要求高体现在哪些方面15.如果现在用 SFT 去解决这个问题，从理论上能不能解决16.为什么不用 GRPO 解决，而是选择 DPO

面试的是大模型相关测试的部门，题目比较基础，但是牵扯到大模型相关的知识了，全部回答上来了，但是回答的模棱两可（太菜导致的）1.解释一下 Transformer 的 Encoder 和 Decoder 的区别和分别做什么的？2为什么模型参数越多，不一定代表单个 Token 推理成本越高呢？3.为什么 MoE会导致模型参数越多，不一定代表单个 Token 推理成本越高呢？4.解释一下什么是灾难性遗忘？5.为什么模型会出现幻觉？6.Temperature这个参数是干嘛的？7.Temperature → 0 时还会有幻觉吗？8.在向量数据库里，两个同义词是什么关系？9.假如有完全相同意思的词语，会出现在一条线上吗？10.RAG 的工作流程是什么？11.从一个 Query 进来开始，完整描述一下 RAG 的流程。12.如果 RAG 检索到的 Chunk 不足以回答问题，后续会怎么处理？

发点面经攒攒人品～算法题：对话历史构造输入一个 List，包含 session_id、turn_id、query、answer 四列输入不保证按 turn_id 有序输出要求：在原始数据基础上增加 history 列，表示当前轮次之前的历史对话内容1.问实习项目2.项目解决的是什么问题3.训练数据来源4.DPO 训练数据格式5.训练时有没有考虑模型泛化能力6.如何解决模型死循环问题7.解释为什么会有模型死循环问题8.压缩向量的具体形式9.更倾向于研究型工作还是面向业务的工作

一面（1小时30分钟）：上来先做题1. 手撕AdamW2. 手撕无重复字母的字串（hot100）3. 出了两个题都是对数据库的操作，我以为是让写大模拟，写到一半结果面试官告诉我是用sql写🐱，不会遂罢。4. 面对海量数据的时候怎么对数据进行处理，比如说去除掉敏感词等等，面对海量数据会出现哪些问题，该如何去处理5. 介绍发表的顶会论文6. 介绍Q-learning和DQN二面（2小时30分钟）实习乃至秋招面的最久的一轮面试了，从晚上七点多面到十点，最后人都麻了🥵，面试官估计要下班了结束了面试🐱1. 介绍论文，主包是做强化学习相关的，围绕问了很多强化学习算法（GRPO，PPO，reward model)，介绍马尔可夫决策过程。2. bf16、fp16和fp32，并进行计算。3. lora微调的细节，量化相关知识然后开始漫长的手撕过程🥵4. 手撕ppo5. 算马尔可夫决策过程的γ阈值，我感觉是个无穷级数？6. 算模型sft的参数量大小及显卡利用率7. 是否重合链表（hot100）8. 如何使得一个输入向量x在经过一个或多个全连接层后，其输出向量y所在子空间基底尽可能接近标准正交基三面（面委会面）（30分钟）1. 介绍第一篇顶会论文（共享屏幕）2. 介绍第二篇顶会论文3. 不同强化学习之间的区别4. 和使用强化学习训练大模型相比，使用强化学习训练小模型需要做出哪些改变hr面（30分钟）常规的hr面问题，主要问来wx的意向。感觉前几面比较侧重技术细节，面委会感觉就比较侧重聊未来技术的发展，个人感觉前几面的压力比较大😼📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。