字节 多模态 算法面经 攒人品

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.项目拷打2.讲一下你用的大模型是什么结构，特征是怎么喂给大模型的3.讲一下multi-head attention，用pytorch手撕一下，要可以实现cross attention的4.大模型训练为什么不用SFT5.知道RLHF吗，讲一下训练流程6.问了几个电商相关的场景题，用大模型解决 prompt 应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出

继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目细节深挖2.除了caption数据,为什么还要做一些VQA、reasoning、summary数据呢?3.解释为什么VQA、conversation、reasoning数据可能会提升模型效果4.当时的消融实验是完全消融吗?具体怎么做的?5.你的关键帧是怎么做的?6.技术报告看过吗:glm-4.1V,qwen3-vl,mimo-vl,kimi-vl,seed-1.5-vl7.你有仔细去看现在主流的VLM是怎么去洗数据，或者是怎么构造整套pipeline吧8.假如说你参与到这个进程中，你怎么看待接下来的趋势，或者说你拿到一个STEM任务类型，你会怎么去做，你觉得现在技术报告里的缺点在哪里，你有什么想法吗?9.使用VLM-as-judge做整套的数据清洗pipeline，从合成、清洗、过滤、验证、合并，这块有了解吗

1、项目，各种聊就行2、ViT的原理，swin-Transformer的原理，各自对比，他们的编码方式，是否可学习，各自优缺点，attention的区别和滑动方法；3、多模态VLM的不同模块的设计原理，attention原理，旋转位置编码原理4、手撕动态规划题目：给定一个三角形 triangle ，找出自顶向下的最小路径和。 每一步只能移动到下一行中相邻的结点上。相邻的结点 在这里指的是 下标 与 上一层结点下标 相同或者等于 上一层结点下标 + 1 的两个结点。也就是说，如果正位于当前行的下标 i ，那么下一步可以移动到下一行的下标 i 或 i + 1 。 示例 1： 输入：triangle = [[2],[3,4],[6,5,7],[4,1,8,3]] 输出：11 解释：如下面简图所示： 2 3 4 6 5 7 4 1 8 3 自顶向下的最小路径和为 11（即，2 + 3 + 5 + 1 = 11）。 示例 2： 输入：triangle = [[-10]] 输出：-10解题代码：# dp 三角def minimumSum(triangle):# top --downfor i in range(len(triangle)-2, -1, -1):# scane all elemfor j in range(len(triangle[i])):# current +=  下一行最小值triangle[i][j] += min(triangle[i+1][j], triangle[i+1][j+1])# top last就是return triangle[0][0]if __name__ == "__main__":triangle = [[2],[3,4],[6,5,7],[4,1,8,3]]print(minimumSum(triangle))triangle = [[-10]]print(minimumSum(triangle)

被横向挂了，希望发出来对大家有帮助！1. 讲一下主要的多模态模型的模型结构2. 对多模态的数据有什么了解，我回答之前看了一些多模态cot的工作构造的dpo数据，以及毕设做的多模态数据增强3. 之前的工作的多模态数据有什么特点和创新点，觉得还可以有什么改进4.统一生成理解模型下游微调各个任务的数据是怎么构造的5. dpo算法是怎么实现的，和其他强化学习有什么区别6. 看项目有目标检测任务，问了IoU是怎么算的，目标检测一般有哪些损失优化code：1. 实现dpo损失，按照想法能写多少是多少，不要求跑通2. 手写IoU损失，要求跑通