📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师整理了多模态大模型学习路线和参考资料，供初学者入门了解和实践。✅多模态LLM大模型算法学习路径1.VIT->CLIP-＞BLIP系列 ->LLaVA->miniGPT4->InternVL->Qwen2-VL2.主流模型架构，单模态LLM，MM-LLMs，开源项目应用，github/huggingface✅入门系列1、学习以LLM为认知基础的MM-LLM2、熟悉python、transformers、pytorch、llama_factory等深度学习框架3、对CV和NLP有一定了解，熟悉图片切分patch和文本token方法✅进阶系列1、高级机器学习算法，关注BERT、GPT的深度研究2、多模态学习，这里主要学习如何结合不同类型数据（如文本，图像，声音）的深度学习模型。✅项目应用实践1、SFT微调：图文对数据语义理解、多模态QA对话微调2、多模态RAG知识库问答：VLM文档解析、张量检索、LLM生成3、Agent智能体：workflow定义、模态tools构建、function call模型训练✴️有需要提升面试能力和辅导项目的同学可以后台联系我～

✅一面和二面🌟一面，问项目+八股1h二面，主要问项目+业务理解1h1.项目（背景+亮点+负责的内容+面对问题怎么解决+为啥用这个技术解决+训练数据量+gpu数量和训练时长+业务人员组成）2.现在主流大模型架构有什么变化？3.grpo的改进方法有哪些？了解gspo吗？4.transformer结构介绍？5.hrbp业务理解题：你觉得实习项目中某个点有什么更好的实现方式？这样做优缺点是啥？6.deepseek r1有的什么注意力优化？7.有了解什么kv优化方法吗？8.code：手撕mha，进一步问在哪加masked矩阵。✅三面🌟三面，高管30min+hr总监10min1.问项目，关注项目背景，我在这个项目当中是什么角色做了什么内容，然后根据这个项目提出一些挺偏技术上的一些质疑。2.围绕项目中的dapo提问，所以他问我dapo我有什么改进。3.怎么看待幻觉？产生原因，如何缓解？4.职业规划，回答业务理解产品这个点 。5.HR围绕工作经历提问，询问对意向工作的期待？更想做偏研发类，还是说偏业务类。6.反问：晋升机制。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

在多模态对齐任务中，Q-Former和MLP是两种不同的技术方案，它们各有特点和适用场景。1.结构类型:Q-Former是轻量Transformer(跨模态交互器)；MLP是全连接层（特征投影器）。2.参数量:Q-Former约188M；MLP仅投影层参数。3.训练复杂度:Q-Former是两阶段预训练+多任务优化；MLP是两阶段端到端微调。4.跨模态交互:Q-Former是显式（ITC/ITM/ITG任务动态对齐）；MLP是隐式（依赖LLM自注意力机制）。4.信息保留:Q-Former是有损压缩（过滤非文本相关特征）；MLP是近似无损（保留原始网格特征）。5.计算效率:Q-Former低（需多次跨模态计算）；MLP高（仅单次线性变换）。6.典型应用:Q-Former应用于需强对齐的检索/匹配任务；MLP应用于开放式对话/生成任务（如图像描述）。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.LoRA时如何选择合适的参数？这些参数的选择如何影响模型的性能？2.LoRA优势？3.大模型如何通过人工指标来评估效果？有哪些常用的人工指标？4.Transformer的计算复杂度主要由哪些因素构成？各模块复杂度分别是多少？5.Transformer中哪个模块的计算量最大？如何优化Transformer中计算量最高的部分？6.为什么BGE通常表现得比BERT更好？有哪些独特之处？7.在大模型参数如何影响模型的学习和优化？8.在模型加速方面，Deepspeed的Zero-1, Zero-2, Zero-3分别有哪些区别?9.Transformer的自注意力中，KV-Cache的引入有什么作用？它如何帮助加速推理过程？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.自我介绍2.介绍RAG流程，分段有没有做优化；3.Qwen3系列和bge系列的原理，Qwen3系列编码模型是怎么训练的；4.self-attention公式；为什么要scaling5.Agent的思想是什么，Agent包含哪些部分；6.RAG怎么评估，用了哪些指标；7.RAGAS有哪些指标，为什么不直接用库；8.介绍Agent怎么做任务规划和问题分解9.GRPO与PPO的区别；GRPO的缺点；介绍GSPO10.SFT数据集怎么构建，问题不够多样化怎么解决；11.RLHF，介绍PPO，包含多少个模型；📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.自我介绍2.critique mode 怎么训练的，会不会存在 bias3.介绍下 RLHF 流程4.BN和 LN 的区别， BN 在训练阶段和推理阶段有何不同5.如果让你用 llm 做一个商品类目识别的项目，你会如何设计6.介绍下 transformer , attention 的细节和 mlp 的作用7.deepspeed的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.在 nlu 任务上，你觉得 bert 和 llm 哪个效果会更好，为什么6.介绍下 RLHF 流程7. deepspeed 的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.如果让你用 llm 做一个商品类目识别的项目，你会如何设计10.快排的思想，时间复杂度11.代码题: code ：手写一个多分类的公式，并用代码实现📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1．自我介绍＋项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7

✅浮点数的组成浮点数由三个部分组成：符号位（ S )＋指数位（ E )+尾数位（ M )。以FP16为例：1位符号＋5位指数+10位尾数＝16位●符号位表示正负●指数位代表可表示的数值范围，位数越多可表示数据的范围越大●尾数位就是有效数字，位数越多可表示数据的精度越高✅FP16和BF16FP16是5位指数＋10位尾数BF16是8位指数＋7位尾数●BF16可表示数据的范围更大（与FP32一样，8位指数），而FP16范围较小●FP16精度更高，BF16精度较低✅为什么现在BF16更受欢迎？1．训练稳定性：BF16在反向传播时梯度更稳定，不太需要额外的 loss scaling （损失缩放）等技巧。2硬件友好：BF16可以直接转换到FP32，计算效率更高。3．计算速度快：浮点数乘法和除法的能耗与尾数长度的平方成正比，BF16在运算速度上有天然优势。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.介绍项目，围绕提问2.为什么要进行多头注意力？3.排序模型关注的指标是什么？4.常用的对比学习有哪些方法？怎么构造数据的？5.用bert做分类任务时，输出是怎么处理的？6.在训练模型时，如果遇到loss不稳定，如何去优化？7.讲解Transformer 的结构常用什么训练框架？8.讲解  LoRA 原理。9.常用的不同模态数据在embedding层面对齐的方法有哪些？10.多模态模型怎么训练？11.介绍一下 CLIP 模型。12.用bert做下游任务时，输入有哪些embedding？13.RAG检索召回的片段中，有一些质量差的，如果排除掉？14.注意力计算的计算复杂度是多少？15.C++中，指针和智能指针的区别？16.code：二叉树的层序遍历📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

一面 1．自我介绍2．SFT的 prompt 模板3．大模型 SFT 过程中自己有没有什么总结出来的经验4．应用场景是什么，有什么意义5.如何看待目前大语言模型都是 decoder - only 结构6．encoder - only 和 decoder - only 的对比，纯理解场景哪更优7．描述一下典型的 encoder - only 如 Bert 的结构细节8．多层堆叠时如何避免梯度消失和梯度爆炸9．DPO和 PPO10.代码题：lc75，颜色分类二面1.自我介绍2.介绍大模型实习3.prompt 优化这部分做了什么工作4.prompt 优化这部分还了解哪些方法吗5.如何判断当前使用的 prompt 就是最优的，无法进一步调整了6.SFT的资源描述，卡数，机器数7.SFT过程中如何判断是否过拟合8.如何判断一个模型是否收敛9.判断收敛需要用验证集吗10.测试集为什么一定需要存在，亦或者为什么不直接把验证集测试集合在一起11.主要使用什么语言（ Python )，有没有系统学过 C ++12.pytorch中的计算图13.反问：进来后可能会做的方向📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。