求字节抖音搜索后端面经

1.自我介绍和过项目2.知道 deepspeed 和 megatron 吗，分别介绍一下3.Decoder 文本生成有哪几种方法4.Attention 为什么要做scaled ，不做会怎么样，为什么用根号 d _ k5.说一下 Decoder 的因果注意力， QKV 分别来自哪6.深挖多模态大模型论文用的video - llama ，讲一下大模型的结构7.LoRA 初始化怎么做的，用的秩是多少，为什么不选其他的数8. 介绍一下 ALBEF 、 BLIP

1.自我介绍➕项目介绍但是没有深挖项目2.跨域是解决了什么问题，跨域的请求有什么3.Get和post的区别4.有了解过什么MVVM框架吗5.Vue这种框架的出现是为了解决什么问题出现的6.nodejs的出现是为了解决什么问题7.Electron框架是如何和web链接的8.AI大模型的出现有什么影响9.你对科大讯飞这家公司有什么看法感觉有点像kpi，八股没问，实习经历没问，另外一个项目也没问，总体就30min，答得感觉也差不多啊，给人一种挂了感觉

1．项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7

一面 1.介绍项目，问项目难点在哪，怎么解决的2.问项目里的数据合成方法，如果不这么做还可以怎么做3.问RAG的流程，知识库，检索方式，提示词怎么写的，问RAG里的一些问题，如果检索不到怎么办，如果知识库没结果怎么办等等4.问DPO PPO GRPO原理，问loss怎么算的，对比5.做DPO的时候调了哪个参数，有什么作用(beta)6.transformer架构、注意力机制，问知不知道其他的除了7.MHA之外的比如GQA等8.手撕-旋转遍历矩阵二面1.介绍项目，问项目背景、项目里一些问题2.讲了实习项目里DPO的一些设计3.问知不知道模型训练的一些参数，答了温度参数、topp、top-k这些，然后问互相搭配的一些影响，问原理手撕-忘记了但也是力扣原题很简单