03-13 10:08 上海交通大学 人工智能 发布于浙江
关注
字节data AI infra实习一面
1.双方自我介绍
2.围绕项目提问，这里记一下通用问题
项目开展的流程，你在其中负责哪些？
用的什么推理框架？
FP8 KV Cache是怎么设置的？
FP8量化在prefill阶段有多少性能收益？
profile用的什么工具，怎么定位性能瓶颈？
还有些想不起来了，回忆起来再补充。
3.开放性提问
你对GPU微架构和cuda了解吗？
在sm没用满的情况增加矩阵乘法的大小，为什么延时会增长？
除了compute/memory bound还有哪些类型的bound，怎么定位？
4.代码题
岛屿数量，模版题，但是写的很艰难。面试官帮我减掉了输入处理和队列的初始化，最后写完还有点小毛病
5.反问环节
问了下他们部分具体是什么方向的推理优化。
视频/图片生成类模型重要吗
#实习#
2.围绕项目提问，这里记一下通用问题
项目开展的流程，你在其中负责哪些？
用的什么推理框架？
FP8 KV Cache是怎么设置的？
FP8量化在prefill阶段有多少性能收益？
profile用的什么工具，怎么定位性能瓶颈？
还有些想不起来了，回忆起来再补充。
3.开放性提问
你对GPU微架构和cuda了解吗？
在sm没用满的情况增加矩阵乘法的大小，为什么延时会增长？
除了compute/memory bound还有哪些类型的bound，怎么定位？
4.代码题
岛屿数量，模版题，但是写的很艰难。面试官帮我减掉了输入处理和队列的初始化，最后写完还有点小毛病
5.反问环节
问了下他们部分具体是什么方向的推理优化。
视频/图片生成类模型重要吗
#实习#
全部评论
相关推荐
03-15 21:49
广东工业大学 Java 
看到电信就想到亿迅了，没想到真的是亿迅 点赞 评论 收藏
分享
查看22道真题和解析 点赞 评论 收藏
分享
书海为家：#人脑vsAI#
尽管深度学习的最初灵感来源于人类的大脑，但二者的运作方式截然不同：深度学习所需要的数据量远比人脑所需要的多得多。可是一旦经过大数据训练，它在相同领域的表现将远远超过人类（尤其是在数字的量化学习，例如挑选某人最可能购买的产品，或从100万张脸中挑选最匹配的一张）——相对来说，人类在同一时间内只能把注意力放在少数几件事情上面，而深度学习算法却可以同时处理海量信息，并且发现在大量数据背后的模糊特征之间的关联，这些模糊特征不仅复杂而且微妙，人类往往无法理解，甚至可能不会注意到。
虽然深度学习拥有人类所缺乏的并行处理海量数据的“绝技”，但不具备人类在面对决策时独一无二的汲取过去的经验、使用抽象概念和常识的能力。
与人类相比，深度学习想要充分发挥作用，离不开海量的相关数据、单一领域的应用场景以及明确的目标函数，这三项缺一不可，如果缺少其中任何一项，深度学习将无用武之地。 点赞 评论 收藏
分享