字节 秋招 二面

多模态模型横向对比除了 Video-LLaMA，还了解哪些主流多模态大模型？→ 常见的有 LLaVA、Flamingo、BLIP、BLIP-2、KOSMOS、PaLI 等简单介绍 ALBEF 和 BLIP 这两个模型的核心设计→ ALBEF：基于图像 - 文本对比学习，搭配动量蒸馏来优化图文对齐效果；BLIP：引入 captioner 生成高质量图文对，再结合 filter 机制筛选优质数据BLIP-2 的整体结构是什么？两阶段训练流程是怎样的？用到了哪些损失函数？→ 结构：在 ViT 和大语言模型之间插入 Q-Former 作为中间桥梁→ Stage1：冻结 ViT 和语言模型，只训练中间的 Q-Former→ Stage2：冻结语言模型，将 Q-Former 与 LM 连接，做指令微调→ 损失：ITC（图文对比损失）+ ITM（图文匹配损失）+ LM 生成损失微调方法（PEFT 全家桶）了解 PEFT 吗？再讲讲 LoRA，重点说明低秩假设的合理性→ PEFT 是参数高效微调的统称，核心是只训练少量参数而不动原模型权重；LoRA 假设模型权重更新量 ΔW 具有低秩特性，将其分解为 A×B，只训练 A、B 两个低秩矩阵，既节省显存又能保留效果除了 LoRA，还有哪些 PEFT 方法？Prefix-tuning 和 P-tuning 有什么区别？→ 其他方法：Adapter Tuning、Prefix-tuning、P-tuning、IA³ 等→ Prefix-tuning：在输入序列前加可学习的 prefix，作用于注意力的 K/V 矩阵，更适合 decoder-only 架构→ P-tuning：用小型网络（如 LSTM）生成连续的 soft prompt，解决离散 prompt 不稳定的问题，更适配 encoder-decoder 模型大模型训练范式你项目中用到的大模型结构是什么？多模态特征是如何喂给大模型的？→ 示例流程：视频帧 → TimeSformer 提取时空特征 → 特征池化 → 线性投影对齐到文本维度 → 拼接到文本 prompt 之前 → 输入 LLM大模型在做了指令微调后，为什么还需要 RLHF？→ 指令微调只是让模型学会遵循指令，但输出可能更偏向 “模板化”；RLHF 是通过人类偏好对齐，让模型输出更符合人类价值观、更自然、更有用的回答，解决 “有用性” 和 “安全性” 问题了解 RLHF 吗？描述它的完整训练流程→ 三阶段流程：① SFT 微调：用高质量指令数据对预训练模型做监督微调，让模型学会基本指令遵循② 训练 Reward Model（RM）：用人类标注的偏好数据训练奖励模型，学习给不同模型输出打分③ PPO 优化：用 RM 作为奖励信号，通过 PPO 算法更新策略模型，最大化 RM 给出的奖励，实现与人类偏好对齐手撕 LeetCode 原题：合并 k 个升序链表→ 核心思路：用小根堆维护 k 个链表的当前节点，每次弹出最小值节点并入结果链表，再将该节点的下一个节点入堆，直到所有链表遍历完毕；时间复杂度 O (N log k)，N 为总节点数

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.项目拷打2.论文拷打3.介绍transformer 架构4.BLIP2的结构是什么，两阶段怎么训练的，有哪些损失5.知道 PEFT 吗，讲一下 LoRA6.LoRA 是什么，有什么好处7.Transformer 怎么做加速训练，训练和推理有什么区别8.一些场景题

AI大模型算法，一环扣一环的拷打Transformer 基础详细介绍 Transformer 架构（Encoder-Decoder 结构、位置编码、FFN 等）Decoder 的因果注意力中，Q、K、V 分别来自哪里？→ Q 来自当前 Decoder 输入（已生成的 token 序列），K 和 V 也来自同一序列（需 mask 未来信息）Attention 为什么要 scaled？不做会怎样？为什么是√dₖ？→ 点积随 dₖ增大会让 softmax 进入饱和区，导致梯度消失；除以√dₖ可使方差稳定在 1（数学推导参考 Vaswani 论文）Transformer 如何加速推理？KV Cache 是什么？训练 vs 推理的并行性差异？→ 训练时所有 token 并行计算；推理时自回归，KV Cache 可缓存历史 K/V，避免重复计算，大幅提速多模态论文深挖（以 Video-LLaMA 为例）讲解 Video-LLaMA 的整体结构→ 视频编码器（如 ViT + Temporal Aggregator）→ 投影层（对齐文本空间）→ LLaMA 语言模型论文中 CoT（Chain-of-Thought）的具体设计？→ 在 prompt 中加入推理步骤示例（如 “视频中先看到人挥手，然后狗跑过来…”），引导模型分步作答微调 & 分布式训练微调用了 LoRA，介绍其原理→ 将权重更新 ΔW 分解为低秩矩阵 A×B，冻结原模型，只训练 A、B，大幅减少可训练参数LoRA 初始化怎么做？秩（rank）设为多少？为什么选这个值？→ A ~ N (0, σ²)，B 初始化为 0；常用 rank=8 或 16，在效果和参数量间取得平衡（实验验证）知道 DeepSpeed 和 Megatron 吗？分别说说→ DeepSpeed（微软）：主打 ZeRO 显存优化；Megatron-LM（NVIDIA）：张量并行 + 流水线并行论文用 DeepSpeed，三个 Stage（ZeRO-1/2/3）分别是什么？→ Stage1：优化器状态分片；Stage2：+ 梯度分片；Stage3：+ 模型参数分片（通信换显存）二面下一篇再写吧，力竭了

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.论文拷打2.如何确定改进的方向，动机是什么3.问了一下实习做的工作，没细问4.深度学习基础知识，网络怎么初始化5.过拟合6.dropout，推理时dropout需要什么额外处理7.手撕，算sqrt()，要写两种方法，牛顿迭代和二分查找