字节跳动 AI Infra实习 timeline

请先做一个简单的自我介绍。挑一个你觉得做得最好的项目，详细介绍一下。你觉得这个项目里面最有挑战性的部分是哪一块？你在参考开源/现有方案的过程中，自己做了哪些改进？在开发过程中，有遇到过上下文过大的问题吗？怎么处理？你的长期记忆和短期记忆分别是怎么做的？你提到的“强约束信息”会不会越积越多？如果越来越多，你怎么处理？你简历里写了熟悉 MySQL，MySQL 在你的项目里主要用在哪些场景？具体讲一下你项目里的数据一致性场景。你说的最终一致性，具体是怎么实现的？如果消息发送失败了，这个任务到底算成功还是失败？在发送消息之前，你是不是还做了消息持久化之类的处理？具体流程是什么？Redis 扣库存成功之...

minimax AI infra（一面）p1腾讯qq浏览器（一二面）p2-p4百度 分布式计算（一面）p5滴滴 云产品控制台（一二面）p6快手 可视化平台（一面）p7蚂蚁集团 Agent基础设施（一二三面）p8-9

一、自我介绍二、实习相关八股1. 实习业务场景负责大模型对话对齐、指令微调、强化学习优化，提升模型生成准确性、合规性与指令遵循度，落地垂类对话/问答业务。2. SFT数据筛选、采样及处理3. 选择GRPO的原因、优化目标及数学原理- 选型原因：相比PPO显存占用低、无需价值网络、训练更稳定，对齐效率高- 优化目标：最大化模型生成优势，约束KL散度防止策略突变- 原理：分组优势归一化、截断策略比率、近端约束，降低训练方差4. 奖励函数设计（重点）围绕有用性、准确性、合规性、流畅性设计，分维度打分；加入KL惩罚，避免单一奖励过拟合，区分正负奖励权重。5. 判断RL训练质量达标方法- 奖励值收敛、KL散度稳定；- 离线评测：指令遵循率、幻觉率达标；- 人工抽检生成内容，无退化、无套路化输出6. 是否遇到Reward Hacking遇到过，模型生成空洞话术、固定模板刻意刷高奖励值。7. 其他奖励作弊类型刻意迎合奖励规则、答非所问、重复安全话术、回避核心问题、策略坍缩同质化输出。8. PPO和DPO了解- PPO：在线强化学习，近端策略优化，带价值网络，训练复杂度高- DPO：离线偏好优化，基于成对偏好数据，无需交互采样，训练简单稳定三、基础八股1. Attention计算时间复杂度标准自注意力：O(n²d)（n为序列长度，d为特征维度）2. KV Cache原理推理时缓存历史token的KV矩阵，避免重复计算，降低算力开销，提升推理速度。3. GQA、MLA原理- GQA：分组查询注意力，Q分组共享KV，平衡推理速度与效果- MLA：融合局部+全局注意力，适配长上下文，降低显存占用4. vLLM原理基于PagedAttention分页管理KV Cache，提升显存利用率，支持高并发推理。5. Flash Attention原理分块计算注意力，优化显存IO，减少HBM访问，提速同时降低显存开销。6. 稀疏注意力原理仅计算局部/关联token注意力，舍弃全局无关token，将复杂度降至O(n)，适配长文本。7. 模型推理慢排查思路检查序列长度、batch大小；确认KV Cache、量化、FlashAttention开启；排查GPU显存、算子优化问题。四、编程题1. rand7()实现rand10()拒绝采样：rand7()*rand7()生成1-49数，保留1-40，映射为1-10，超出则重新生成。2. 浮点数组取整最小变化和贪心思路：每个数选上/下取整中差值更小的，累加最小总误差。3. 最长无重复子串

感觉面完人都通透了，还是太菜了，下去沉淀一下项目拷打拷打第一段实习2.1 模型优化细节，非常细，基线模型结构、具体优化点、expert数量，输入维度，参数量计算，特征分配策略等等22.2 参数量增加后，计算量增加了多少？FLOPs和训练速度分别怎么变化？2.3 模型性能跟模型大小是相关的吗？2.4 新增的存储属于什么类型？在PS中仅增加存储是否影响训练推理速度2.5 存储成本和查询成本哪个更高？新增参数量是否达到瓶颈？2.6 相同的机器下，训练速度慢了多少？或者增加了多少机器才能让训练速度持平？拷打第二段实习3.1 主模型细节，序列建模细节，模型参数、序列长度3.2 OneTrans的优缺点手撕代码：求数组中第K大的数，时间复杂度要求O(N)