字节多模态大模型一面面经

1.详细说一下dns解析它是怎么解析的，过程咋样2.Transformer你给我讲讲它底层原理，讲一下它为啥能替代RNN，我们知道Transformer架构已经很成熟了，但你觉得它的Self-Attention机制在多模态对齐上会不会存在瓶颈？有没有实际场景里注意力权重完全偏掉的情况3.说下LoRA的原理吧，LoRA是不是只能在Linear层插？你有没有了解过为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响4.你刚才提到用过QLoRA，那你能具体说说QLoRA是怎么降低资源成本的吗？常见的量化方式有哪些，QLoRA为什么选的是NF4和FP16这组组合，而不是别的组合？你能说说NF4 的分布拟合逻辑吗5.我们做了一些multi-query attention优化，但发现decoder延迟还是高，你觉得是哪里的瓶颈vLLM 本身的KV cache 是不是反而是负担7. Embedding模型和Rerank模型分别是怎么处理文本语料的？用场景举一下例子8.看你做过RAG，讲讲从数据清洗到检索服务上线这整个链路是怎么搭的，你是怎么做chunk切分的10.你觉得当前RAG的最大瓶颈在哪？你做过哪些改进来提升 Recall11.你们在训练xx领域大模型的时候，SFT 数据怎么构造12.看你做过LoRA微调，那你是怎么选rank值的？合并adapter权重的时候有没有遇到梯度爆炸13.我看你这个特长里面也有写过使用这个模型部署是吧你也做过相关模型部署的工作，那咱们能简要的说一下，我们部署的参数量模型部署的参数量，然后还有它对应的硬件之间的需求关系，比如说我每个参数量的模型所需要的算力需求大概是什么？先给出一个题吧，我们部署一个MOE架构的千分三的235b的一个模型，他所需要的算力大概是多少？14. 比如rag知识库搭建就是比如说我们在搭建这个知识库的时候，需要对这个知识库的文件文档进行动态更新了，那么你之前是用的是全量嵌入还是增量处理？如果是用增量的话，那么怎么来避免新旧文档的文单的分布不一致导致的这种检索偏差的问题15.你那个机械臂的那个动作态这一块融合的这一块，然后你那个具体的数据是怎么进行一个融合的，然后这个对比协议是怎么做的16.在做多模态融合的时候，有没有做过过视觉跟文本之间的对齐任务，怎么做的

1.自我介绍 2.讲一下你的自动化评估体系是怎么设计的吧 3. markdown转html做报告验证，那你这个合法性是怎么判断合法的？是直接看渲染结果吗？那怎么做自动验证的？ 4.你说截图验证，那你这个截图是怎么生成的？怎么知道截图渲染的是正确的 5. Agent 推荐比赛的提示词优化流程讲一下，是怎么构造出更优提示词的 6.你这个提示词优化迭代里面，比如说你怎么判断当前生成提示词就是“最优 7. 刚刚说“反思机制”有个模块，那我想问问这个反思机制是怎么做的？是类似 Chain of Thought 吗？有没有自动修正能力？ 8.帮我实现一下Transformer 里面的多头注意力你能现场实现...

📍面试公司：上海人工智能实验室💻面试岗位：大模型工程师❓面试问题：上海人工智能实验室大模型工程师面经-一面1.直接写的代码题，非hot 100 难度中等，dfs可桥接版（还挺喜欢面试官的，跟我说题目的时候说了很久，解读题目的时候给了我思路）2.实习的项目3.internvl的发展路径4.q-former和mlp在对齐中的区别，有什么优劣（没有答的很好）5.internvl2.5和qwen2.5的区别，着重问了一下动态分辨率6. zero123的区别7. 7b模型需要多少显存运行（没答上来，以前针对性的学过还是忘了，之后更新在主页）🙌面试感想：good

时间线：10-10投递 10-11约面 10-14一面 生活服务40分钟+20分反问行业看法对聊1.你是怎么看待测开跟开发的？你跟测重哪一个2.jvm内存运行机制（麻了，没听过）3.垃圾回收算法4.mysql事务5.手撕：给一组数字和整数n，找到有一组数字组成的小于n的最大数只给了十分钟，没撕出来，探讨了思路。6.设计微信抢红包测试用例7.优点缺点8.工作实际问题。你发现有个需求很简单，你决定自己随便测了之后就上交了合不合适？反问: ai与测试，对应届生的建议？我如果走测开需要弥补哪些缺点?什么时候发通知?个人感觉答得还行，但是准备了一堆项目场景题，项目场景设计用例，计网，mysql统统无效。...