辉曦智能 NPU算子开发实习生 （12.14）

第一次面试吧，没什么经验，面完没有回复，G

面试时长：1 h

面试内容：

* 项目拷打，面试官对softMax的reduce比较感兴趣（还是比较懂的）

* softmax的reduce部分是如何实现的？

* reduce时做指数运算时是否出现精度丢失问题？如何解决？

• 如果有reduce项目一定会问的

* 如果指数运算时出现了溢出，如何解决溢出的问题？

• 溢出的解决办法，可以考虑先把最大值找出来，在算sum时候减去最大值，不确定可不可行，如果大家有更好的理解欢迎留言。

* SIMD和SIMT的区别是什么？SIMD相较于SIMT的优势，为什么大家还会用SIMD？

• 简单介绍下SIMD和SIMT吧，然后具体SIMD的优势我的理解可能说硬件实现上GPU更加复杂一些，SIMD只是CPU上的一个扩展吧

* 计算机体系结构了解哪些？

• 简单说说CPU和GPU

* GPU中共享内存中的Bank Conflict如何解决？以及避免发生Bank Conflict的解决方法？

• padding

* 并行有哪些层次的并行方法？

• 数据并行
• 任务并行
• 流水线并行

这是我后来查的，如果大家有补充也欢迎评论区讨论，一起学习

* 循环展开优化的底层实现机制，为什么循环展开会起作用？

• 较少循环开销
• 有利于指令流水线调度

* 手撕矩阵乘，可以用CPP或者CUDA C

CUDA C写核函数没写出来，太菜了，这个还是要多练的