摩尔线程 ai infra 一面分享

发一下问题给大家参考,攒攒人品!
无手撕
1.tp pp 模型太大单卡显存不够怎么训练,多机并行怎么操作
2.了解deepspeed megatron吗
3.算子融合有了解吗 有哪些算子融合
4.算子吞吐量怎么衡量,如何选定对于一个算子的输入规模
5.虚拟机有了解吗
6.讲一下cache竞争
7.arm架构下,怎么把数据读取到内存中
8.mpi除了数据并行还有什么别的并行方式,并行的时候有什么需要注意的地方
9.自动mpi成熟与否,手写好还是自动好,手写比自动优势在哪里
全部评论

相关推荐

评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务