关注
我实习也面过这家,当时HR一直说leader是清华背景,前段时间还去清华做演讲啥啥的,有种华而不实的感觉,后来鸽了
查看原帖
1 1
相关推荐
03-03 10:35
门头沟学院 机器学习 在改简历的大卫很认真:1. 训练时间估算
时间 ∝ 总FLOPs / (算力FP8/FP16 × 利用率)
总FLOPs ≈ 6 × 参数 × Token数
再除以单卡算力、并行数、利用率,就是时长。
2. Prefill / Decode 优化
- Prefill:长序列并行、FlashAttention、分块、算子融合、向量化
- Decode:KV cache、连续Batch、PagedAttention、Speculative Decoding
3. Two-batch overlap
- 同时跑两个微批次,计算/通信重叠
- 负优化:计算太快、通信太小、显存不够、调度 overhead 盖过收益
4. Megatron-LM 通信优化
TP+PP+DP三维并行;
重叠通信计算;
分桶AllReduce;
激活重计算;
减少跨节点通信量。
5. PD分离(PP+DP)为什么要KV transfer
为了流水线+数据并行一起用,提高吞吐;
虽然有KV拷贝成本,但整体能堆更大Batch、更高利用率。
6. MuON / AdamW 不能混用
优化器状态、动量、更新逻辑完全不兼容;
预训练用一个,微调换另一个,状态不匹配,直接训崩/不收敛。
7. 跨SM PD / AF 分离
核心:拆任务、提高 occupancy、隐藏延迟;
PD:并行度拆分更干净;
AF:聚焦注意力/前馈访存与计算重叠;
看模型结构、Kernel瓶颈选。
8. CUDA Global / Shared 注意
- Global:对齐、连续访问、合并访存、少随机读、用L2缓存
- Shared:防bank conflict、分块复用、同步_sync、容量控制
9. DeepSeek-V3 优化点
高效架构+长序列支持;
优化Attention/FFN计算;
更好的并行策略;
推理侧低延迟高吞吐。
10. DeepSeek-DSA/NSA/MoBA
- DSA:领域稀疏注意力
- NSA:神经稀疏注意力
- MoBA:混合专家注意力
核心都是稀疏化、省计算、扩容量。
11. NCCL 原语 & AllReduce 次数
原语:Send/Recv、Broadcast、Reduce、AllGather、ReduceScatter、AllReduce
Ring AllReduce:2次(ReduceScatter + AllGather)。
12. 小数据量 NVSHMEM vs Ring AllReduce
少了Ring多跳延迟;
直接GPU-GPU读+本地Reduce;
小数据下延迟更低、更简单。
13. 超长序列训练并行
TP+PP+CP(上下文并行)+ ZeRO;
分块Attention、分块FFN;
激活重算+KV复用;
控制通信量。
14. Ampere → Hopper 算子升级
- 用TF32、FP8、新指令
- 适配TMA、异步拷贝
- 优化Warp调度、 occupancy
- 重写Attention/MatMul,用Hopper专属优化
查看14道真题和解析 点赞 评论 收藏
分享
查看12道真题和解析 点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 面试被问到不会的问题,你怎么应对? #
23702次浏览 582人参与
# 牛友的志愿填报指南 #
62738次浏览 479人参与
# 招商银行数字金融训练营 #
106688次浏览 917人参与
# 你觉得大几开始实习最合适? #
27523次浏览 265人参与
# uu们,春招你还来吗? #
61656次浏览 691人参与
# 你见过哪些招聘隐形歧视? #
23059次浏览 194人参与
# 厦门银行科技岗值不值得投 #
15442次浏览 355人参与
# 面试中,你被问过哪些奇葩问题? #
95441次浏览 1217人参与
# 学历VS实习,哪个更重要? #
1257次浏览 37人参与
# 你都用vibe coding做过什么? #
20270次浏览 770人参与
# AI Coding实战技巧 #
14732次浏览 292人参与
# 哔哩哔哩笔试 #
34923次浏览 142人参与
# 如果人生可以debug你会改哪一行? #
12300次浏览 157人参与
# 海康威视求职进展 #
132178次浏览 551人参与
# 你现在一天AI几次? #
12637次浏览 126人参与
# 机械人你觉得今年行情怎么样? #
7814次浏览 96人参与
# 面试紧张时你会有什么表现? #
33670次浏览 201人参与
# Claude Code泄露源码 #
14682次浏览 200人参与
# 做完笔试后你收到面试了吗? #
24946次浏览 214人参与
# 恒生电子笔试 #
20793次浏览 156人参与
# Vibe Coding 会干掉初级岗位吗? #
21704次浏览 218人参与
# 机械人,签完三方你在忙什么? #
83755次浏览 265人参与