字节一面

1.项目介绍2.深挖过往实习经历3.RAG链路的流程。如何评估rag的效果？有哪些指标？4.讲讲微调（全量和高效）。LoRA的原理。了解多少别的变种？5.Transformer八股。讲讲自注意力机制。了解什么位置编码方式？6.模型训练过程中出现部分节点失活的情况，数据应该怎么处理？（没答上来）7.了解哪些强化学习算法？off-policy的举几个例子。8.讲讲PPO和GRPO9.看过什么论文？（回答deepseek-R1）10.手撕二叉树中序遍历非递归反问：入职之后是在什么场景下做什么样的业务？（首页搜索）

没有问项目八股，一直在问实操细节第一次遇到没问项目的，直接就是问我简历写的技能。1.旋转位置编码的原理和什么是外推2.绝对相对位置编码的原理3.深挖偏旋转位置里面的一些设计与独特点（数学公式和token设置）4.有什么主流的大模型，其中有什么有特点的结构，5.有没有去看过openai的一些协议，怎么进行部署6.有什么Linux命令，具体到去在文件夹查找某个关键字段怎么找7.一些不同大模型结构的特点。总结一下，这个面试官很重实操，需要你知道个个模型的特点，对实操经验极其看重

1、介绍自己的中厂实习2、一面的部分实习问题这里也问了。3、有没有试过外挂数据库来解决线上业务数据分布更新较快的问题，4、模型选型问题，为什么选qwen3-8b，如何估算模型开销。5、最多做过几卡的模型训练?对deepspeed和Megatron有多少了解?6、接触过哪些推理加速的方法。(vllm的page-attention, kv cache, prefix cachemla，flash-attention直接安排一套)7、一个他们组里面的一个具体场景题。8、手撕k个一组反转链表，并要求最后不足k个的也反转。

1.Lora 的相关八股:常见参数、缩放2.有没有做记忆衰退，避免旧数据干扰新任务？3.Deepspeed zero3为什么比zero2更省显存4.训练大模型的框架都有哪些呢5.讲解一下 Flash Attention6.讲解一下 Qwen 的滑动窗口注意力机制，计算量是多少？7.PPO 的损失函数构成。8.讲解一下KL散度。PPO和GRPO的损失函数有哪些区别？9．在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？10．32B 模型全量微调 和Lora 微调的显存估算11．你们这种模块堆叠的架构是怎么设计视觉问答模块和动作模块的协同逻辑的？12. human feedback 是怎么被 agent 消化吸收的？