03-03 08:30 门头沟学院 机器学习
关注
AI infra推理方向日常实习面经总结
攒人品攒人品～～
1.实习拷打
2.推理相关知识点：
1.transformer架构（encoder-only、decoder-only、encoder-decoder各自优缺点，模型举例）
2.prefill/decode 结合roofline讲
3.nv基础（grid、block、thread、warp、l0cache/l1cache(shared memory)/l2cache/global memory、sram/hbm、tensor core、tma等）
4.vllm相关（pagedattention、连续批处理、v0/v1架构、chunked prefill、prifix caching等）
5.sglang相关 （radixattention，sglang代码没怎么看，问的不多）
flashattention v1-v3、flashdecoding
6.量化（LLM.int8()、SmoothQuant、AWQ、GPTQ等、量化的好处）
7.投机解码（什么是投机解码、lookahead、n-gram、medusa、eagle）
8.并行（dp/tp/pp/ep各自是什么，在vllm中如何实现）
9.通信（reduce、gather、开销考虑）
10.主流模型架构（llama1-3的演变、qwen3的moe怎么做的、deepseek的mtp）
11.kvcache压缩手段（MHA、MQA、GQA、MLA）
12.pd分离
3.其他知识点
计网、操作系统、python八股 都很基础
4.手撕
leetcode：反转链表、链表重排（lc143）、中序遍历二叉树的递归和非递归实现、最长连续序列（lc128）
triton/cuda：layer norm、大矩阵规约求和、online-softmax
1.实习拷打
2.推理相关知识点：
1.transformer架构（encoder-only、decoder-only、encoder-decoder各自优缺点，模型举例）
2.prefill/decode 结合roofline讲
3.nv基础（grid、block、thread、warp、l0cache/l1cache(shared memory)/l2cache/global memory、sram/hbm、tensor core、tma等）
4.vllm相关（pagedattention、连续批处理、v0/v1架构、chunked prefill、prifix caching等）
5.sglang相关 （radixattention，sglang代码没怎么看，问的不多）
flashattention v1-v3、flashdecoding
6.量化（LLM.int8()、SmoothQuant、AWQ、GPTQ等、量化的好处）
7.投机解码（什么是投机解码、lookahead、n-gram、medusa、eagle）
8.并行（dp/tp/pp/ep各自是什么，在vllm中如何实现）
9.通信（reduce、gather、开销考虑）
10.主流模型架构（llama1-3的演变、qwen3的moe怎么做的、deepseek的mtp）
11.kvcache压缩手段（MHA、MQA、GQA、MLA）
12.pd分离
3.其他知识点
计网、操作系统、python八股 都很基础
4.手撕
leetcode：反转链表、链表重排（lc143）、中序遍历二叉树的递归和非递归实现、最长连续序列（lc128）
triton/cuda：layer norm、大矩阵规约求和、online-softmax
全部评论
相关推荐
03-03 10:35
门头沟学院 机器学习 在改简历的大卫很认真：1. 训练时间估算
时间 ∝ 总FLOPs / (算力FP8/FP16 × 利用率)
总FLOPs ≈ 6 × 参数 × Token数
再除以单卡算力、并行数、利用率，就是时长。
2. Prefill / Decode 优化
- Prefill：长序列并行、FlashAttention、分块、算子融合、向量化
- Decode：KV cache、连续Batch、PagedAttention、Speculative Decoding
3. Two-batch overlap
- 同时跑两个微批次，计算/通信重叠
- 负优化：计算太快、通信太小、显存不够、调度 overhead 盖过收益
4. Megatron-LM 通信优化
TP+PP+DP三维并行；
重叠通信计算；
分桶AllReduce；
激活重计算；
减少跨节点通信量。
5. PD分离（PP+DP）为什么要KV transfer
为了流水线+数据并行一起用，提高吞吐；
虽然有KV拷贝成本，但整体能堆更大Batch、更高利用率。
6. MuON / AdamW 不能混用
优化器状态、动量、更新逻辑完全不兼容；
预训练用一个，微调换另一个，状态不匹配，直接训崩/不收敛。
7. 跨SM PD / AF 分离
核心：拆任务、提高 occupancy、隐藏延迟；
PD：并行度拆分更干净；
AF：聚焦注意力/前馈访存与计算重叠；
看模型结构、Kernel瓶颈选。
8. CUDA Global / Shared 注意
- Global：对齐、连续访问、合并访存、少随机读、用L2缓存
- Shared：防bank conflict、分块复用、同步_sync、容量控制
9. DeepSeek-V3 优化点
高效架构+长序列支持；
优化Attention/FFN计算；
更好的并行策略；
推理侧低延迟高吞吐。
10. DeepSeek-DSA/NSA/MoBA
- DSA：领域稀疏注意力
- NSA：神经稀疏注意力
- MoBA：混合专家注意力
核心都是稀疏化、省计算、扩容量。
11. NCCL 原语 & AllReduce 次数
原语：Send/Recv、Broadcast、Reduce、AllGather、ReduceScatter、AllReduce
Ring AllReduce：2次（ReduceScatter + AllGather）。
12. 小数据量 NVSHMEM vs Ring AllReduce
少了Ring多跳延迟；
直接GPU-GPU读+本地Reduce；
小数据下延迟更低、更简单。
13. 超长序列训练并行
TP+PP+CP（上下文并行）+ ZeRO；
分块Attention、分块FFN；
激活重算+KV复用；
控制通信量。
14. Ampere → Hopper 算子升级
- 用TF32、FP8、新指令
- 适配TMA、异步拷贝
- 优化Warp调度、 occupancy
- 重写Attention/MatMul，用Hopper专属优化
查看14道真题和解析 点赞 评论 收藏
分享