爱奇艺大模型算法岗面经

1️⃣一面
1. Transformer、CLIP原理,图文对齐层工作机制
2. CLIP衍生进阶模型;检索场景模型适配改造思路
3. Transformer各类Decoder结构
4. 大模型通用预训练流程;电商垂域预训练必要性及原因
5. GRPO公式推导;PPO四大组成模型
手撕:多头注意力MHA代码
2️⃣二面
1. LoRA落地场景、常用超参配置
2. 长文本模型结构优化;Qwen3-VL RoPE、MRoPE原理,其他位置编码方案
3. 长文本训练各类优化Trick
4. 多模态图像Token冗余过多解决方案;图像Token长度限制实现方式
5. BF16与FP32精度差异、训练选型;训练推理精度一致性问题
手撕:反转链表
3️⃣三面
1. 多模态Embedding设计经验、图文对齐方案与主流对齐方式
2. Embedding模型与Reranker差异,二者训练Loss区别
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
全部评论
MHA手撕能在20分钟内写完吗
点赞 回复 分享
发布于 05-13 17:19 湖南

相关推荐

一、自我介绍二、实习相关八股1. 实习业务场景负责大模型对话对齐、指令微调、强化学习优化,提升模型生成准确性、合规性与指令遵循度,落地垂类对话/问答业务。2. SFT数据筛选、采样及处理3. 选择GRPO的原因、优化目标及数学原理- 选型原因:相比PPO显存占用低、无需价值网络、训练更稳定,对齐效率高- 优化目标:最大化模型生成优势,约束KL散度防止策略突变- 原理:分组优势归一化、截断策略比率、近端约束,降低训练方差4. 奖励函数设计(重点)围绕有用性、准确性、合规性、流畅性设计,分维度打分;加入KL惩罚,避免单一奖励过拟合,区分正负奖励权重。5. 判断RL训练质量达标方法- 奖励值收敛、KL散度稳定;- 离线评测:指令遵循率、幻觉率达标;- 人工抽检生成内容,无退化、无套路化输出6. 是否遇到Reward Hacking遇到过,模型生成空洞话术、固定模板刻意刷高奖励值。7. 其他奖励作弊类型刻意迎合奖励规则、答非所问、重复安全话术、回避核心问题、策略坍缩同质化输出。8. PPO和DPO了解- PPO:在线强化学习,近端策略优化,带价值网络,训练复杂度高- DPO:离线偏好优化,基于成对偏好数据,无需交互采样,训练简单稳定三、基础八股1. Attention计算时间复杂度标准自注意力:O(n²d)(n为序列长度,d为特征维度)2. KV Cache原理推理时缓存历史token的KV矩阵,避免重复计算,降低算力开销,提升推理速度。3. GQA、MLA原理- GQA:分组查询注意力,Q分组共享KV,平衡推理速度与效果- MLA:融合局部+全局注意力,适配长上下文,降低显存占用4. vLLM原理基于PagedAttention分页管理KV Cache,提升显存利用率,支持高并发推理。5. Flash Attention原理分块计算注意力,优化显存IO,减少HBM访问,提速同时降低显存开销。6. 稀疏注意力原理仅计算局部/关联token注意力,舍弃全局无关token,将复杂度降至O(n),适配长文本。7. 模型推理慢排查思路检查序列长度、batch大小;确认KV Cache、量化、FlashAttention开启;排查GPU显存、算子优化问题。四、编程题1. rand7()实现rand10()拒绝采样:rand7()*rand7()生成1-49数,保留1-40,映射为1-10,超出则重新生成。2. 浮点数组取整最小变化和贪心思路:每个数选上/下取整中差值更小的,累加最小总误差。3. 最长无重复子串
查看19道真题和解析
点赞 评论 收藏
分享
评论
1
3
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务