字节大模型算法面试,被拷打了……
✅一面
1.深挖多模态论文介绍transformer架构
2.详细说一下Decoder的因果注意力 QKV分别来自哪
3.Attention为什么要做scaled 不做会怎么样 为什么用根号d_k
4.Transformer怎么做加速训练(KV缓存) 训练和推理有什么区别(并行化)
5.深挖多模态大模型论文用的video-llama 讲一下大模型的结构
6.论文用了CoT讲一下论文的CoT是怎么样的
7.微调用的LoRA介绍一下LoRA
8.LoRA初始化怎么做的,用的秩是多少,为什么不选其他的数
9.知道deepspeed和megatron吗?分别介绍一下
10.论文用的deepspeed详细讲了一下三个stage分别是什么
✅二面
1.深挖多模态和大模型的论文
2.Decoder文本生成有哪几种方法
3.还知道哪些多模态大模型
4.介绍一下ALBEF、BLIP
5.BLIP2的结构是什么 两阶段怎么训练的 有哪些损失
6.知道PEFT吗 讲一下LoRA
7.还有什么微调方法 -> prefix-tuning和P-tuning 两者分别是怎么做的 为了解决什么提出的
8.后面就是一些场景题
✅三面
1.深挖论文
2.讲一下multi-head attention 用pytorch手撕一下 要可以实现cross attention的
3.讲一下你用的大模型是什么结构 特征是怎么喂给大模型的
4.大模型训练为什么不用SFT
5.LoRA是什么?有什么好处
6.知道RLHF吗?讲一下训练流程
7.接下来就是好几个场景题,电商相关的,用大模型解决prompt应该怎么设计,怎么处理prompt的输出,怎么过滤错误格式的输出
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
1.深挖多模态论文介绍transformer架构
2.详细说一下Decoder的因果注意力 QKV分别来自哪
3.Attention为什么要做scaled 不做会怎么样 为什么用根号d_k
4.Transformer怎么做加速训练(KV缓存) 训练和推理有什么区别(并行化)
5.深挖多模态大模型论文用的video-llama 讲一下大模型的结构
6.论文用了CoT讲一下论文的CoT是怎么样的
7.微调用的LoRA介绍一下LoRA
8.LoRA初始化怎么做的,用的秩是多少,为什么不选其他的数
9.知道deepspeed和megatron吗?分别介绍一下
10.论文用的deepspeed详细讲了一下三个stage分别是什么
✅二面
1.深挖多模态和大模型的论文
2.Decoder文本生成有哪几种方法
3.还知道哪些多模态大模型
4.介绍一下ALBEF、BLIP
5.BLIP2的结构是什么 两阶段怎么训练的 有哪些损失
6.知道PEFT吗 讲一下LoRA
7.还有什么微调方法 -> prefix-tuning和P-tuning 两者分别是怎么做的 为了解决什么提出的
8.后面就是一些场景题
✅三面
1.深挖论文
2.讲一下multi-head attention 用pytorch手撕一下 要可以实现cross attention的
3.讲一下你用的大模型是什么结构 特征是怎么喂给大模型的
4.大模型训练为什么不用SFT
5.LoRA是什么?有什么好处
6.知道RLHF吗?讲一下训练流程
7.接下来就是好几个场景题,电商相关的,用大模型解决prompt应该怎么设计,怎么处理prompt的输出,怎么过滤错误格式的输出
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
全部评论
相关推荐