1️⃣Qwen1 模型训练使用FlashAttention 进行加速优化使用 AdamW 优化器进行BF16 混合精度训练训练时上下文长度为 2048，经过 NTK 插值法将上下文长度外推到 81922️⃣Qwen1.5 模型结构改进引入GQA，但只有 3️⃣Qwen1.5-32B 使用了GQA加入 MoE（14B-A2.7B）系列模型，使用4个共享专家与60个细粒度专家，每次推理激活4个专家网络4️⃣Qwen2 模型结构改进全系列使用 GQA，KV 缓存减少40%使用 YaRN+DCA（双块注意力机制）5️⃣Qwen2.5 模型尺寸共有0.5B、1.5B、3B、7B、14B、32B、72B这7种尺寸6️⃣Qwen3 模型训练1.预训练：数据规模从 18T tokens 拓展至 36T tokens。2.后训练：先使用CoT冷启动微调；再使用 GRPO 对query-verifier 数据集进行强化推理。3.数据蒸馏：用 KL 散度将对小模型与大模型对齐7️⃣Qwen3-2507模型结构改进将思考/非思考模型分开，不再使用一个模型进行切换。支持超长文本 256K📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.自我介绍和项目2.Qwen- VL 的训练流程是怎样的3.讲一下大模型的训练流程，多模态大模型的视觉特征传递给 LLM 都有哪些方法4.ViT 一般怎么预训练5.多模态 RAG 介绍一下6.对于不同形状的图片或视频，位置编码怎么设计7.在 ResNet 或者 Transformer 中，残差连接的作用是什么，展开讲讲8.开放题：大模型在训练和推理的时候显存不够，有哪些优化方法9.代码：215．数组中的第 K 个最大元素

1.做了哪些工作2.AUC、AUUC、GAUC 的定义是什么3.新模型灰度测试指标不稳定，这时候负向如何理解4.模型经过离线哪些验证之后才上线的5. Transformer对比RNN、LSTM有什么不同6. .bes的数据有多少？大概扩充了多大的比例7.召回的两个塔是什么塔8.你怎么构建 ANN 索引的？ANN 的基本原理可以讲一下吗？普通负样本是什么？正负样本比例是多少？讲一下DIN？为什么用 softmax 会让效果变差9·多目标模型的优缺点10·了解 OneRec 吗11. 详细讲讲CrossNetwork的结构以及它的特别之处🏵️12. code :Ic206反转链表📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.自我介绍2. RoBERTa做了哪些改进3.什么是ROI2？什么是增量推广4.怎么构建负样本的5. PLE之后的多任务模型还有了解吗6.指标对比baseline提升主要来自于什么7.模型拆分前后的结构变化8. MMOE、PLE的区别9. Uplift 模型长什么样？它的输入输出是什么10. AUC 算方法两种；写公式就行11.反问：组内工作📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

一面 1. 怎么解决LLM幻觉问题2. DPO 训练的过程是怎么样的，正负概率怎么算3. MOE架构原理4. RAG如果有噪声怎么办5. 最新强化学习技术了解什么6. Deepseek GRPO，讲讲原理和之后的改进7. 召回索引怎么优化8. 意图识别LLM输出格式不好怎么优化🌟代码：三数之和🌟总结：面试官很看重项目部分二面1. RAG常用的检索方式2. 知道哪些Embedding模型3. 了解最新技术一般怎么通过什么渠道4. RAG遇到模型缺失电商知识一般怎么做5. Qwen3的技术原理6. 怎么防止客服LLM串台问题🌟代码：字符串解码🌟反问：组里的资源怎么样；具体业务📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.实习和论文2.机器学习八股3.交叉熵损失函数、 KL 散度4.损失函数每个簇的中心点怎么选推导5.Kmeans 参数6. 从数学角度分析L1、L2正则化区别7.Adam 优化器的原理8.交叉熵求导过程9.Dropout 训练和测试的差异10.手撕全连接层，实现 forward📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣优化出发点推荐系统的发展始终围绕一个核心问题：如何精准理解用户偏好并匹配最相关的内容。✅冷启动困境：新加入系统的物品由于缺乏历史交互数据，其ID嵌入往往难以准确学习，导致推荐效果差。这与NLP中的未登录词(OOV)问题类似，严重限制了系统对新物品的推荐能力。✅泛化性不足：ID token难以捕捉相似物品间的共享特征，每个物品都被视为完全独立的实体，忽视了它们之间可能存在的语义关联。2️⃣模型架构:双token统一与距离度量创新的完美融合统一表征学习框架是一个精心设计的系统，主要由三个创新组件构成：统一的语义与ID tokenization策略、融合余弦相似度与欧氏距离的度量方法，以及端到端的联合优化机制。✅统一语义与ID tokenization:框架的核心思想是保留ID token的必要维度来表征物品独特属性，同时用语义token替代冗余维度来捕捉共享特征。✅统一距离度量:解耦与区分的层次化策略，论文的另一个关键贡献是对不同相似度度量在推荐系统中作用的深入分析。端到端联合优化：三重损失协同训练    为确保各组件协调工作，框架采用端到端训练方式，同时优化三个关键目标：推荐损失；RQ-VAE量化损失；文本重建损失。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

一面 1.简历项目介绍2.如何做attention，为什么attention要除以根号dk?3.讲讲你对Embedding了解多少？4.对推荐系统都有哪些了解？常用技术点有哪些？5.从从ROC到AUC、再到GAUC，它们分别是什么，有什么区别？6.为什么Transformer选用LayerNorm而不是BatchNorm？7.如何进行模型的在线训练，和离线训练有什么区别？8.项目中涉及的模型是如何进行输出的，是否涉及在线预估？9.介绍多路召回策略。10.交叉熵怎么理解？11.算法题：三数之和

一  面 1.自我介绍，问实习和论文2.目前大模型模型结构都有哪些3.什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型?4.prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点5.刚刚提到 MLA ，那 MLA 是怎么对 KV Cache 做优化的6.说一说大模型后训练的流程7.Qwen是怎么做长度外推的8.在 PPO 中，如何防止模型在微调数据集以外的问题上泛化能力下降？如何防止模型收敛到单一类型的高奖励回答9.代码：25.K个一组翻转链表二  面1.自我介绍和讲论文讲实习，多模态大模型是否有接触?落地案例?2.介绍一下 Qwen布的这几版模型，都做了哪些贡献，包括数据、模型和训练3.DeepSeek 有了解吗， DeepSeek 用到的 MLA 注意力是怎么做的？它可以直接用 RoPE 吗？为什么不能，它做了哪些优化4.了解大模型的解码策略吗，简要说一说吧5.现有一个能力较弱的多模态模型和一个能力较强的文本模型（如 DeepSeek-R1），如何结合两者的能力来回答与多模态相关的问题？6.代码：199．二叉树的右视图7.反问环节📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.生成模型用的什么，为什么这样选型，有没有对比过其他模型2.介绍检索做的优化，具体追问子问题分解怎么做，有没有做意图识别3.RAG怎么评估，指标有哪些4.介绍RAG项目5.怎么构建SFT数据集，数据量多少，微调方式是什么6.SFT数据问题不够多样化怎么办7.介绍一下function calling和MCP📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣一面 1.自我介绍2.介绍一下项目，遇到的难点和解决的问题3.介绍Transformer，编码器和解码器的注意力有什么区别4.了解CLIP吗 ，介绍一下其他的对比学习方法5.说一下R1的训练过程6.BLIP 的三个损失函数分别是什么，数据是怎样清洗的7.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进8.视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9.代码：买卖股票最佳时机2️⃣二面1.自我介绍和过项目2.Qwen- VL 的三个训练流程分别是什么，有什么作用介绍一下 CLIP3.后来有哪些比较经典的基于 Transformer 的语言模型， Qwen 相比于原始 Transformer 有哪些结构上的改动4.了解 RLHF 吗， DPO 和 PPO 有什么区别， Loss 是什么样的，各自的优缺点是什么5.了解哪些多模态大模型，简要介绍几个6.了解 LoRA 吗， LoRA 微调的原理是什么7.对PPO DPO GRPO计算逻辑的理解8.代码：实现多头自注意力3️⃣三面1.自我介绍和实习经历介绍2.GNN与LLM结合理解3.场景题：涉及偏好对话模型4.反问：岗位职责和未来规划📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣数据方面数据可以说是整个项目中最重要的一个环节，是决定项目成败的最关键因素，目前主流的观点认为，数据的质量和多样性比数据的量级更加重要，大量的噪声和单一的数据构成都会使得模型训练产生偏误。第一，先抛弃掉互联网上随处可见的训练数据， “自制”数据集的最大优势，不在于数据量的庞大，而在于它们独特且贴近实际业务场景。这不仅能体现你的技术动手能力，更能展示你对业务的敏感度和创新意识。哪怕你只爬取了几百条数据，依然会有很不错的效果。在实际工作中（对于Post Training方向），数据处理也是接触的最频繁的工作。面对纷繁复杂、体量巨大的原始数据，如何精准筛选出高价值的部分（如果数量不足，如何使用合成数据的方法补充体量），并高效通过处理流程，正是一个微调项目中最精华的部分，微调技术的选用相比之下都称得上是细枝末节。2️⃣评测方面面试官想要听到的，是你是否有科学、系统的评测方法，能用客观的数据和标准来说明你的模型效果。比如：你有没有设计一套评测集，来检测模型对于不同语境的还原能力？你有没有和原始未微调的模型做对比，看微调前后在同一组输入下的输出差异？你有没有用自动化指标来衡量模型生成内容和原始语料的相似度？这是真正重要的技术检验方法，也是评测方法必须放在微调之前的原因。毕竟，如果原版模型就能在评测集上做到90%以上的相似度，再怎么微调，在人的感官上也是相差无几的。你需要有一个大模型目前掌握得不好的测评集，才有在指标上提高的空间。当然，对于一个玩具项目来说，能做到有评测集、有一个以上的评价指标、有对比试验就已经很不错了。3️⃣调参方面调参很有用，但是数据更加重要。调参解决的是“怎么把现有数据学得更好”，而数据优化解决的却是“模型到底要学什么”。别把所有的希望都寄托在参数上。与其在显卡前焦虑地等待下一组实验结果，不如多花一点时间，和你的数据、你的业务、你的评测集聊聊天。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣一面 1．自我介绍，问实习和论文2．了解哪些多模态大模型，简要介绍一下吧，了解最新的一些多模态大模型都是怎么做的吗3．在 BLIP -2或者 Qwen - VL 中， Learnable Query 的作用是什么4．了解多模态 RAG 吗5．大模型的后训练是怎么做的，在 VLM 上做后训练有什么区别6．知道 SAM 吗？说说 SAM 是怎么做的7．概率题：一根绳子剪成三段，这三段可以围成三角形的概率是多少8．代码：一个推荐链路的排序2️⃣二面1．自我介绍，问实习和论文2．讲一下 LoRA ，两个权重矩阵一般怎么初始化，能都全0吗3．除了 LoRA ，还了解哪些可以进行训练推理优化的技术4．现在的多模态大模型，动态分辨率一般都是怎么做的，位置编码怎么设计5．概率题，一副扑克牌，去掉大小王，随机抽两张，花色相同的概率6.场景题：目前有一个带货的直播间，设计一个方案，商品比较多怎么降低时延7.开放题：平常在训练或者微调 LLM 或者 VLM 的时候，有什么心得吗📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣一面 1.自我介绍，问实习和论文2.大模型的超长上下文问题怎么解决预训练和 SFT 的损失一样吗3.RL 中 Reward 和优势有什么区别4. LoRA 训练和全参训练的优劣5.了解哪些常用的 RL 算法6.最新的 GSPO 重要性采样7.讲一下 DeepSeek R1，推理模型怎样训练8.GRPO 比 PPO 强在哪9.对 DAPO 和 VAPO 有了解吗10.代码：接雨水2️⃣二面1.自我介绍，拷打论文，2.简单问了问实习 LoRA 训练和全参训练的优劣3.对大模型训练的数据有什么心得 RL 中 Reward 和优势有什么区别4.On - Policy 和 Off - Policy ZeRO1,ZeRO2,ZeRO3如何节省显存5.d1-756.训练大模型的时候有遇到什么难题吗7.代码：最长递增子序列📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。