字节多模态大模型实习一面

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.项目拷打2.论文拷打3.介绍transformer 架构4.BLIP2的结构是什么，两阶段怎么训练的，有哪些损失5.知道 PEFT 吗，讲一下 LoRA6.LoRA 是什么，有什么好处7.Transformer 怎么做加速训练，训练和推理有什么区别8.一些场景题

1、项目，各种聊就行2、ViT的原理，swin-Transformer的原理，各自对比，他们的编码方式，是否可学习，各自优缺点，attention的区别和滑动方法；3、多模态VLM的不同模块的设计原理，attention原理，旋转位置编码原理4、手撕动态规划题目：给定一个三角形 triangle ，找出自顶向下的最小路径和。 每一步只能移动到下一行中相邻的结点上。相邻的结点 在这里指的是 下标 与 上一层结点下标 相同或者等于 上一层结点下标 + 1 的两个结点。也就是说，如果正位于当前行的下标 i ，那么下一步可以移动到下一行的下标 i 或 i + 1 。 示例 1： 输入：triangle = [[2],[3,4],[6,5,7],[4,1,8,3]] 输出：11 解释：如下面简图所示： 2 3 4 6 5 7 4 1 8 3 自顶向下的最小路径和为 11（即，2 + 3 + 5 + 1 = 11）。 示例 2： 输入：triangle = [[-10]] 输出：-10解题代码：# dp 三角def minimumSum(triangle):# top --downfor i in range(len(triangle)-2, -1, -1):# scane all elemfor j in range(len(triangle[i])):# current +=  下一行最小值triangle[i][j] += min(triangle[i+1][j], triangle[i+1][j+1])# top last就是return triangle[0][0]if __name__ == "__main__":triangle = [[2],[3,4],[6,5,7],[4,1,8,3]]print(minimumSum(triangle))triangle = [[-10]]print(minimumSum(triangle)

面试很难，还是要多多练习1.项目拷打2.酣畅淋漓的技术八股...*-讲一下Wan(阿里的通义万相)的框架是什么*-是否了解MM-DiT的框架*-对于DiT，时间t是怎么注入的，AdaLN讲一下*-了不了解VideoVAE是怎么训练的，用了什么损失函数，如果重建视频不清晰可以再加什么Ioss*-KL散度具体的公式是什么样的?和交叉熵损失函数有什么区别联系*-是否了解Flowmatching，具体是怎么做的，和DDPM的优劣*-讲一下Classifier-Free Guidance*-是否了解视频后训练怎么做的，GRPO是什么*-你觉得对于训练一个视频基模，应该有哪几个流程，哪一步比较关键*-训练过多大的模型，用了多少张卡*-训练过程中是否遇到过不稳定的情况，本质上是因为什么*-是否了解混合精度，FP16和BF16的区别*-是否了解大模型训练中的几种并行(DP,PP,TP,EP)3.手撕: 经典 multi-headattention

被横向挂了，希望发出来对大家有帮助！项目拷打15分钟左右：八股：1.模型推理部署的时候用的什么框架，对这方面了解多少，vllm，sglang2.qwen2.5vl和qwen3vl的对比3.qwen2.5vl怎么做的动态分辨率处理的图片或者视频，对比intervl两者有什么不一样的4.ROPE是相对位置编码还是绝对位置编码，原理是什么5.qwen2.5vl里面的MROPE怎么实现的6.DPO，GRPO，PPO有什么区别和不同7.python里的函数是不是对象8.python的装饰器是什么9.除了模型训练侧，agent有了解多少