27实习字节大模型算法 二面 45min

1.八股：XGBoost 如何计算特征重要性？Gini 系数在树模型中代表什么？它和信息增益的区别在哪？2.八股：Decoder-only 模型在推理时，预测第 i+1 个 token 时，输入用的是第 i 个 token 的 one-hot 还是概率分布？为什么？3.八股：KV Cache 的空间复杂度是多少？如何估算一个 7B 模型在 batch=1、seq_len=2048 下的显存占用？4.八股：AdamW 和 Adam 的核心区别是什么？Adam 相比 SGD 引入了哪些优化机制？Adam 全称是什么？5.项目：你们验证集的类别分布是否和线上一致？如何保证标注数据的高质量（比如通过交叉校验 or 专家审核）？6.项目：在当前 RAG 架构下，如果引入 Few-shot Prompting，为什么能提升输出质量？和微调相比各自适用场景是什么？7.项目：FAISS 是如何加速向量检索的？你用的是 IVF 还是 HNSW？索引构建时 nlist/nprobe 怎么调？8.手撕：最长回文子串（LeetCode 5）

1.八股：LoRA 和全参数微调的核心区别是什么？在显存和训练效率上各有什么优劣？2.八股：DPO、PPO、GRPO 三者的优化目标有何不同？为什么 GRPO 的 loss 中要显式加入 KL 散度项？3.八股：Transformer Encoder 中 FFN 的作用是什么？4.八股：什么是 DeepSeek 的 MLA？它的优势是什么？5.项目: 你在实习中用 LoRA 微调了哪个开源大模型？具体 rank、alpha、dropout 是多少？为什么这样设置？6.项目：SFT和DPO 数据是否有重叠？DPO 的偏好数据是如何构造的？人工标注成本大概多少？7.项目：你们的 RAG 系统召回阶段用了 BGE-M3 还是 BM25？最终选择依据是什么指标（如 Recall@k）？BGE-M3 输出向量维度是多少？8.项目：为什么不用纯向量相似度直接生成答案，而要再过一遍大模型？这样做对幻觉和安全性有什么帮助？9.手撕：接雨水（LeetCode 42）

1. 这个岗位是抖音电商岗位，在data部门，主要是做山寨商标识别的，可能需要用到多模态模型对山寨logo识别，或用到AIGC模型生成一些山寨logo2. 介绍完自我介绍，就是一道力扣困难题，求两个有序数组中位数，要求时间复杂度log(m+n)，可能需要二分法，但之前看力扣答案还看不明白，再写下去属实是浪费时间3. 项目深挖，主要是问我textual Inverion和Lora的作用，没有问我的论文4. 八股：Lora实现细节，PPO实现细节，是否知道大语言模型常用的旋转位置编码，是否了解deepseek的GRPO，你对多模态模型了解多少5. 思维题：如果你和一个人比赛但是你的胜率较低，你是选择五局三胜还是三局两胜获胜的概率大？答案应该是三局两胜，我跟面试官说可以建一个二叉树用回溯法求全概率然后比较。但是他让我用直觉判断，果然我的直觉是不准的，选了五局三胜。6. 开放题：如果让你去生成一些山寨logo，该怎么做。我回答的是首选图像编辑模型，在原有logo的基础上通过语言进行额外控制，可以最大限度保留原logo特征；因为logo的颜色较为单一，可以考虑用controlnet➕线稿修改的方式生成。线稿修改可以人工提供一些样本，成本相较于直接人工绘制山寨logo较低。

1.项目介绍2.在参数高效微调中，为什么优先微调 Attention 层的 Q/K/V/O，而不是 FFN 层？3.RAG 和 GraphRAG 在处理多跳推理时的根本？4.RAG 的整体流程5.GraphRAG 系统整体流程6.RoPE 为什么能实现相对位置编码？7.Transformer 中因果注意力和双向注意力的区别8.手撕代码题：最长连续递增子序列（LeetCode 674）