1.项目介绍2.聊教育背景3.聊研究方向（面试官说她之前也是做这个方向的，聊了几句）4.介绍一下你的实习工作5.讲一下你RAG项目的亮点6.你对 VLLM 中使用的技术是否熟悉（如 Flash Attention、KV Cache）？7.介绍一个几种 Attention 技术的不同8.Self-Attention、Cross-Attention、GQA9.了解加速推理框架 Deepspeed 吗？10.微调项目是如何模型选型的，11.如何做微调的？直接用 PEFT 库，还是用LLama Factory做的？12.讲一下 DPO, PPO, GRPO 的原理和区别场景题题目：小红书里的很多笔记作为数据进行树状分类，最大分类数为 3000 类如果让我去做，会怎么收集数据，怎么训练，怎么做？数据如何收集？要什么格式的数据？可以人工收集并打标记AI算法题写 一下DPO_loss 函数leecode算法题寻找峰值

1.实习介绍2.benchmark怎么构建的？3.transformer相对于传统模型的优势在哪？4.mplug的创新点5.self-attention和cross-attention有什么区别？6.QKV的迭代/计算逻辑（一直到最优解）7.初始矩阵怎么选择更好？8.项目询问9.为什么选择qwen-7b-instruct10.怎么去评估哪一个checkpoint最好？11.讲讲LoRA和Deepspeed的优缺点12.开放型业务问题13.手撕快排

1. 项目介绍2. 介绍实习项目3. 原来的基线中mmoe就有做不同任务之间的平衡，解决跷跷板问题，原来基线为什么做不到，你做这部分改进的出发点是什么4. 为什么项目在gate之后又做了一个专有的网络？5. 训练和推理的目标为什么不一致？6. 推理的三个指标去训练6个任务的时候有提升，那为什么没有去增加更多的任务来做提升7. 特征重要度你知道有哪些方式，其他的专门做因果推断去找特征重要度的方式？8. 你们项目业务投放到客户的全流程是怎么样9. 场景题：假如我作为一个个人广告主，我投出去的如果是一个低质视频，我们要给广告找到最好的用户去投，这里面商业和用户体验的平衡点是什么10. 解释一下序列建模11. DIN的激活函数使用了什么，作用？12. 论文怎么做的，盘问论文的思路13. 手撕数组第k大的数

1、介绍实习2、字节项目详细问1.目前模型里的序列主要包括什么，selfattention 还是target attention2.gmv优化如何做的，最终上线了哪个3.scalingup怎么做的，主要围绕rankmixer，看出来面试官看过字节这篇论文了，详细问了一下这部分乡包括为什么要做这个、mixup和affn主要结构、残差项处理还有一些细节4.收益拆分，这个主要是我简历里写了实习期间所有launch的ab收益，拆了一下各部分的3、手撕简单写了 mixup和affn，还是rankmixer的内容4、反问问了业务和 base地

1.以项目拷打为主，挖得很深，面试官水平很高，实习时唯一一个糊弄过去的点都被找出来了2.如何获得训练数据的，测试集上的评估方法是什么？3.大模型得到的结果为什么要额外走一轮校验4.如何评估sft后模型的效果5.GRPO具体是怎么做的6.GRPO的reward怎么设计的7.是否有reward hacking问题，怎么避免8.GRPO公示介绍一下9.GRPO如何评估“优势值”10.对称的clip可能会遇到什么问题11.思维链具体怎么构建的，怎么确保其准确性12.多模态处理后置信度如何评估13.多模态模型如何将文本和图像映射到同一向量空间14.模型训练的损失函数和目标分别是什么15.如何衡量图像embedding和文本embedding之间的相似度16.如何评估模型输出结果的准确性17.SFT和强化学习之间的区别在哪里，分别适用什么场景18.模型在业务场景的泛化性如何考虑19.人工标注vs模型标注，如果使用模型来打标，可能会遇到什么样的问题20.Transformer的encoder和decoder区别21.介绍self attention和cross attention22.手撕题：在一个数组中找到一个先严格递增再严格递减的子序列（“山峰”形序列），并使这个子序列的长度尽可能长

稳定么，会裁员吗

实习介绍——5min项目相关细节提问——5min1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash Attention 的原理，矩阵 tiling 的过程说细一点，最好把 shape 也讲清楚。手撕算法：经典接雨水+最长上升子序列

1.自我介绍完问基本情况，是否保研，大四时间是否充足等等2.问项目，面试官说对我简历上一个项目不了解，让我先介绍一下这个东西，然后提出了自己的一些疑问，包括实际应用中可能遇到的问题以及要如何解决3.问实习，主要围绕应用的场景、Agent Memory优化手段、幻觉问题如何解决，还让我讲了实习中最值得说的工作4.没有八股题5.手撕:第一题做过但忘了，只记得要双指针，具体指针怎么移动给忘了，第二题没有怎么学过LRU所以有三题 T T(1)给了一个整数数组和目标值target，如何找到数组中相加之和为target的两个数(2)写一个LRUCache的队列，实现get和put函数

1.八股：Transformer的计算复杂度分析，写伪代码2.八股：多头和单头的情况下有什么区别3.八股：DeepSeek R1的创新点和优化点？4.项目：介绍实习经历，并选一篇论文进行讲解。5.项目：提示工程的主要方法有哪些？有哪些优化技巧？6.项目：LLM怎么微调的，数据量多大，各数据配比多少7.项目：SFT和强化学习各自有什么优缺点，分别适用于什么场景？8.项目：大模型生成内容的评测方式有哪些，具体怎么操作？9.项目：大模型输出前后不一致怎么办，如何确保大模型输出内容的一致性？10.代码题：手撕sqrt(x)，保留6位小数

1.为什么要用 decoder架构为什么不用甬encoder-decoder(每次被问到回答不太好，onerecvl用的e-d,v2用了gqaattention 的 decoder, flops才降很多没用的反而 flops超高，所以也不好说 decoder only 能节省计算资源)2.输入是什么样的?会不会出现序列长度很长的问题3.ra vae 四层码本能否确保唯一性?训练过程有没有出现码本坍塌(每次我会说rqvae是其他团队训练的但是还是会问我训练细节，只能说·些理论上我知道的)4.dpo loss 是怎么优化的为什么不用 ppo5.原始的多模态表征和 id 表征是怎么联合训练的 表征的参数是更新的吗6.预训练阶段的两个 1oss 是什么7.是怎么解决收敛速度不一致这个问题的代码题给一个先升序再降序的数组，求最大值的下标

1.讲讲生成式推荐的项目，数据集有多大2.RQ-VAE和RQ-KMeans分别是什么?3.为什么RQ-VAE会有码本坍塌现象?4.这个项目在什么卡上面运行，运行了多久?5.微信视频号的数据集有多大?6.为什么会出现跷跷板现象?原因是什么?怎么解决?7:PLE相比MMoE的变化是什么?8:PLE的输入输出是什么?共享网络和独有网络的输入和输入是什么?9.过拟合现象是什么?怎么解决?10.讲讲双塔模型的正负样本怎么选取的11.Inbatch负采样为什么有效果12.讲讲DIN。DIN和传统的target attention有什么区别

1.实习介绍2.介绍一下项目，遇到的难点和解决的问题3.介绍Transformer，编码器和解码器的注意力有什么区别4.了解CLIP吗 ，介绍一下其他的对比学习方法5.说一下R1的训练过程6.BLIP 的三个损失函数分别是什么，数据是怎样清洗的7.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进8.视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9.代码：买卖股票最佳时机

1.做了哪些工作2.AUC、AUUC、GAUC 的定义是什么3.新模型灰度测试指标不稳定，这时候负向如何理解4.模型经过离线哪些验证之后才上线的5. Transformer对比RNN、LSTM有什么不同6. .bes的数据有多少？大概扩充了多大的比例7.召回的两个塔是什么塔8.你怎么构建 ANN 索引的？ANN 的基本原理可以讲一下吗？普通负样本是什么？正负样本比例是多少？讲一下DIN？为什么用 softmax 会让效果变差9·多目标模型的优缺点10·了解 OneRec 吗11. 详细讲讲CrossNetwork的结构以及它的特别之处12. code :Ic206反转链表

1. 项目介绍2. 手撕：最长递增子序列的改版（加个pre数组辅助计算即可）3. 项目拷打，特征怎么做的，为什么选这个模型4. MMOE的缺点？PLE的改进点在哪？5. 共享专家和独享专家的层数相同吗？6. 共享专家和独享专家的个数分别是多少7. 讲一下transformer的encoder和decoder8. attention计算公式9. 反问