字节AI算法 二面 好难啊

发点面经攒攒人品～1.实习拷打2. 论文拷打3.有什么涉及的具体的应用吗4.我看里面上写上面写了一些知识图谱的一个构建说一下这个这个任务的一个输入和输出吧，大概你用到了什么数据，然后什么模型去产出什么样的一个东西5.你这个图谱里边都有哪些类型的实体？关系是怎么定义的6.你用了BERT去做实体识别哈，那为啥用BERT呢？能不能直接用个BiLSTM搞定5.我看你提到了LayerNorm，这块为啥要用个条件LayerNorm有什么作用6.说一下transformer的底层结构吧7.Transformer为什么用了LayerNorm呢8.你说你做了一个Multi-Head Self-Attention，那注意力权重那部分你还记得公式是咋算的吗？9.说一下LoRA原理10.刚才提到用LoRA做参数高效微调的必要性，那如果不是用LoRA，而是做全参数微调，那会消耗多少显存，比如说我以一个7B规模的大语言模型为例11.说说现在千问里有哪些主流的大模型结构12.项目拷打13.那你们这个DAG 图是怎么构建的？根因节点怎么推出来的

1. 你做过的后训练项目里，最难解决的问题是什么2. SFT 数据你怎么构造，怎样避免模型被训练“油了”SFT 最大的问题不是量不够，而是数据风格太单一，最后把模型训成一种固定腔调：很会说、很圆滑、但信息密度低。构造数据时我一般会先按任务拆层，比如信息抽取、工具调用、复杂问答、拒答、安全、长文总结、结构化输出，每一层的目标都不一样。然后再做难度分桶，避免模型只见过简单样本。另一个关键点是负面风格清理。很多数据表面上没错，但非常模板化，比如“这是一个非常好的问题，让我们一步一步分析”，这类东西在少量数据里没问题，规模一大就会把模型带偏。所以我会专门清掉这种“高礼貌、低信息”的样本，保留更接近真实...

搜推+大模型算法一面面试题SFT & RL 方向先 answer 后 cot vs 先 cot 后 answer：两种 SFT 范式在训练效果上有什么差异？你是否做过对比实验？标注质量管控：如何保证人工标注数据的准确率达到预期标准？有哪些校验或质控手段？Checkpoint 选择：如何挑选合适的 SFT checkpoint，用于后续的 RLHF 阶段？多模态输入：图片是如何输入到 VLM 模型中的？一张图片通常会被编码为多少个 token？RL vs SFT：你认为强化学习（RL）和监督微调（SFT）的核心区别是什么？训练范式选择：为什么不直接从零开始做 RL，而是要采用「SFT → RL」的两阶段流程？RL 关键机制：什么是重要性采样？为什么在 RL 训练中要引入 CLIP 机制？策略类型差异：On-policy 和 Off-policy 算法的核心区别是什么？各自的适用场景有哪些？八股文（Transformer 基础）因果掩码作用：Transformer Decoder 中为什么必须使用自回归因果掩码？缩放点积注意力：为什么注意力分数要除以d​k​？（补充：Layernorm 前置后，除以d​可将方差归一到 1，避免 softmax 梯度饱和）推荐系统方向生成式推荐 vs 传统推荐：两者的核心区别是什么？生成式推荐的目标是什么？你如何看待它的未来发展前景？指标计算：AUC、HR、NDCG 的计算公式分别是什么？GAUC 和 AUC 的区别在哪里？编码方式：如何在模型中加入时间编码和位置编码？常用的位置编码方法有哪些？Coding：手撕 Multi-Head Attention（MHA） 实现二面面试题SFT & CoT 细节概率分布特性：在「先 cot 后 answer」的 SFT 范式下，为什么越靠后的 token 概率（prob）会越高？蒸馏噪声处理：用大模型蒸馏得到的 CoT 数据存在大量噪声，该如何缓解？VLM 幻觉问题：对 VLM 做 SFT 时，发现模型更信任文本信息，看图时反而容易产生幻觉，有哪些解决思路？RL 进阶PPO 核心：写出 PPO 中 GAE 的公式，并说明如何递归计算每个 token 的优势函数（advantage）？DPO 损失：写出 DPO 算法的损失函数公式？算法对比：GRPO 和 PPO 的核心区别是什么？GSPO 和 GRPO 又有哪些不同？训练稳定性：你遇到过 RL 中的熵塌缩（entropy collapse）和 reward hacking 问题吗？分别有哪些改进方法？最近有哪些新论文提出了新方案？采样困境：在采样类 RL 算法中，on-policy rollout 无法得到正确答案时该怎么办？自蒸馏：了解 Self-Distillation 吗？为什么要做自蒸馏？最近这方向有哪些代表性论文？震荡优化：RL 训练中 reward 或 loss 震荡严重，该如何调整？（提示：可从学习率 lr、KL 散度约束等方向入手）推荐系统进阶结构对比：HSTU 和 Transformer 结构的差异是什么？它和 OneRec 的整体流程有什么不同？SID 优化：如何降低 SID 碰撞率，同时提高特征利用率？量化算法：RQ-VAE 和 RQ-Kmeans 的算法原理分别是什么？OneRec 工程：OneRec 中是如何将 SID 加入模型词表和 tokenizer 的？多模态融合：如何更好地结合文本特征和多模态特征？模型演进：Rankmixer 是如何发展到 Tokenmixer 的？Coding：给定一个行内严格递增的 m×n 矩阵，找到矩阵中第 k 大的数

Q:请详细解释一下 Transformer 模型中的自注意力机制是如何工作的?它为什么比 RNN 更适合处理长序列? 难度:⭐⭐ 公司:字节、阿里、腾讯(高频) 算法岗回答要点:   自注意力机制原理  输入序列通过三个线性变换得到 Q(Query)、K(Key)、V(Value) 计算注意力分数:scores = QK^T / √d_k Softmax 归一化得到注意力权重 加权求和:output = softmax(scores) · V    数学推导 Attention(Q,K,V) = softmax(QK^T/√d_k)V   为什么除以√d_k?防止点积过大导致梯度消失 Mult...