总包差不多选哪个。后端开发yfdbase高五千，总包少10w给的都还不错，担心去yfd不好跳各位大佬给给意见

1.详细说一下dns解析它是怎么解析的，过程咋样2.Transformer你给我讲讲它底层原理，讲一下它为啥能替代RNN，我们知道Transformer架构已经很成熟了，但你觉得它的Self-Attention机制在多模态对齐上会不会存在瓶颈？有没有实际场景里注意力权重完全偏掉的情况3.说下LoRA的原理吧，LoRA是不是只能在Linear层插？你有没有了解过为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响4.你刚才提到用过QLoRA，那你能具体说说QLoRA是怎么降低资源成本的吗？常见的量化方式有哪些，QLoRA为什么选的是NF4和FP16这组组合，而不是别的组合？你能说说NF4 的分布拟合逻辑吗5.我们做了一些multi-query attention优化，但发现decoder延迟还是高，你觉得是哪里的瓶颈vLLM 本身的KV cache 是不是反而是负担7. Embedding模型和Rerank模型分别是怎么处理文本语料的？用场景举一下例子8.看你做过RAG，讲讲从数据清洗到检索服务上线这整个链路是怎么搭的，你是怎么做chunk切分的10.你觉得当前RAG的最大瓶颈在哪？你做过哪些改进来提升 Recall11.你们在训练xx领域大模型的时候，SFT 数据怎么构造12.看你做过LoRA微调，那你是怎么选rank值的？合并adapter权重的时候有没有遇到梯度爆炸13.我看你这个特长里面也有写过使用这个模型部署是吧你也做过相关模型部署的工作，那咱们能简要的说一下，我们部署的参数量模型部署的参数量，然后还有它对应的硬件之间的需求关系，比如说我每个参数量的模型所需要的算力需求大概是什么？先给出一个题吧，我们部署一个MOE架构的千分三的235b的一个模型，他所需要的算力大概是多少？14. 比如rag知识库搭建就是比如说我们在搭建这个知识库的时候，需要对这个知识库的文件文档进行动态更新了，那么你之前是用的是全量嵌入还是增量处理？如果是用增量的话，那么怎么来避免新旧文档的文单的分布不一致导致的这种检索偏差的问题15.你那个机械臂的那个动作态这一块融合的这一块，然后你那个具体的数据是怎么进行一个融合的，然后这个对比协议是怎么做的16.在做多模态融合的时候，有没有做过过视觉跟文本之间的对齐任务，怎么做的

一面 1.项目介绍2.讲讲你对 transformer 的了解3.有哪些常用的解码策略，topp 和 topk 的具体细节，以及实现上的差别4.意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7. 你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8.做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10.deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12.说-下 vm 部署8*7B的 MOE 模型每秒大概能推多少token13.对比学习了解吗，讲一下14.代码题:实现rand5到rand7

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效)3.了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)4. Qwen的模型结构是怎么样的，相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构，Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG，RLHF对齐，事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方，DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择(FP16精度高但易溢出，BF16动态范围大;训练常用BF16混合精度，推理用INT8量化加速)8.讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的，你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率，需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组