0814快手大模型训练推理 一面秒挂

Kstar 大模型训练/推理岗  50分钟,面完直接躺地上睡觉zzz

上来直接对着简历里的实习经历和项目问。

1. 有哪些KV Cache Compression的形式?(这边我想先从自己的实习项目开始,再说别的,被对方直接打断“我没有问你的东西,我问有哪些方法”  态度感觉很不友好 )  开始吟唱八股。

2. MHA,MQA,GQA的概念,问怎样广播KV。之后问Multi-head Latent Attention与GQA的数据对应关系(给定hidden_status,Rope,MLA和GQA个数问MLA对应几个GQA),只知道MLA是低秩矩阵乘,但是具体怎么算没自己看过……没答上来。

3. 问了20分钟项目里的KV Cache Sparse计算的细节和vLLM Triton的实现,自我感觉答得还可以。不过其中有一个,问我KV Cache Sparse计算为什么不用掩码,跟他说用掩码会导致不必要的GPU I/O和计算,不如直接传入稀疏矩阵,但对方一直觉得我说的有问题 = =||  

4. DeepSpeed Zero123分别做了什么工作,吟唱完Zero1后被直接打断,让我算如果用Adam优化器,N个参数量的规模下Zero1如何给P个GPU分配数据。磕磕绊绊答出来,但是被说N个参数量还要考虑不同数据类型之间占用的内存不同FP32FP16balabala

5. SmoothQuant原理,为什么要Smooth,参数如何设定(八股启动)  怎样判断一个模型是否适合SmoothQuant,如果用每层激活值分布判断,是看input channel还是output channel(答output,但是说完之后对方不置可否 = =||)

6. AWQ和GPTQ原理,有何区别。

7. 项目里为什么选用不同的量化方法,GPTQ和SmoothQuant对应什么场景。

8. 蒸馏模型怎么做的,用了哪些技术(因为我用的模型是训练组给的蒸馏模型,只知道蒸馏的概念,细节不清楚)

9. 分布式gpu通信原语  all together   all2all  (展开说了分别各自对应什么场景,结果被打断说“我只需要知道你告诉我这是通信原语就行”  觉得我说太多了…急着下班吗)

反问环节有点幽默……我“请问您这边主要是做上游的微调或者modeling还是偏模型工程的推理加速?”  对方沉默一会儿回答“我们是算法”  把我尬住半天,,,

面完1分钟看官网秒挂

#秋招#
全部评论
老哥运气不好,这面试官也有点逆天
10 回复 分享
发布于 2024-08-15 14:30 北京
兄弟没事 面试官纯***
5 回复 分享
发布于 2024-08-16 11:41 北京
MLA看看苏剑林的blog吧,讲得很清楚,那个KVcache压缩的方法有啥啊,MLA不算压缩KVcache吗?
4 回复 分享
发布于 2024-08-16 01:46 北京
佬答的这么强还挂?感觉有点逆天了
2 回复 分享
发布于 2024-08-15 20:27 上海
SmoothQuant 那题,论文里面有提到,是按 in_channel 划分的
1 回复 分享
发布于 2024-08-24 11:18 上海
面试官是不是一戴眼镜的女的
1 回复 分享
发布于 2024-08-19 10:33 上海
大佬,你看的八股在哪里可以了看到
1 回复 分享
发布于 2024-08-16 10:27 广东
面了二十分钟面试官跟我说方向不匹配,把我转到模型小型化部门去了😮
点赞 回复 分享
发布于 2024-10-10 15:26 北京
帕琪哥😭
点赞 回复 分享
发布于 2024-09-01 11:54 未知
这个是人才计划吧老哥
点赞 回复 分享
发布于 2024-08-16 15:20 浙江

相关推荐

发一下问题给大家参考,攒攒人品!1*Agent与Workflow的区别是什么?在实际业务中,你会根据什么标准选择对应的方案2*设计一个企业级Agent架构,如何实现 BFF、Tool Server 与 Worker 的多组件拆分3*在企业级Agent中,怎么实现安全与隔离?权限管理、审计与日志追踪具体的落地方案是什么?4*说一下什么是MCP?它在Agent生态中解决了什么痛点?5*MCP 有哪些具体的分类?Transport 层是怎么工作的?如何开发一个 MCP Server?6*谈谈你对 Claude Code、Manus 这类 Agent 产品的理解,它们的架构逻辑与传统 Chat Agent 有什么差别?它工程部分的能力是怎么实现的?7*如何实现 Claude 的 Agent Research 方法论?Deepsearch 场景下需要配备哪些工具?基础设施与安全挑战在哪里?8*在多轮对话中,分别实现 Short-term memory、Long-term memory 与 Task memory怎么做?9*上下文机制的完整实现流程是怎样的?说一下它的写入策略、读取策略以及 Rerank 的做法是怎么样的。10*当上下文超过 Token 限制时,组合使用 Rolling Summary、State Extraction 与 RAG 这三段式策略?11*说一下Prefix Caching 和 KV Cache 的原理。为什么缓存的是 K 和 V 而不是 Q?不再计算前缀具体节省了哪部分算力?12*引入 Prefix Caching 后,Attention 的计算复杂度是怎么下降的?13*Few-shot在Agent评测中是为了提升能力还是降低方差?在评测Pipeline的哪个阶段注入?如何防止过拟合?14*对比一下Transformer中Self-attention与FFN的作用差异。15*为什么 Prefix Caching 只能优化 Attention 部分,而无法优化 FFN 部分?16*从 Softmax 的数学角度解释,为什么在计算过程中加上负无穷就能让注意力权重变为 0?17*什么是掩码?你分别说一下Causal Mask与 Padding Mask 的作用是什么。
查看17道真题和解析
点赞 评论 收藏
分享
评论
20
130
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务