字节大模型算法一面凉经

被横向挂了，希望发出来对大家有帮助！1. 训练用户模拟器面试官时样本数据中多轮对话session问题连贯性如何保证。2. 如何评估用户模拟器面试官模型3. 面试官模型问题同质化严重问题4. 评价官模型多智能体结构5.leetcode 动态规划改编体题

1. 介绍下你实习学了什么 做过什么项目,为什么离职的2. MoE 为什么能在参数量很大的情况下还能把训练和推理成本压住，真正难点在哪MoE 的关键不是“参数变多了”，而是“每个 token 只激活一部分参数”。也就是说总参数量可以做得很大，但单次前向只走少数几个 expert，所以理论上计算量不会随着总参数线性增长。这个思路在大模型里很有吸引力，因为可以同时兼顾容量和成本。但真正难的地方是路由和负载均衡。路由器如果只偏爱少数 expert，训练会很不稳定，热门 expert 被打爆，冷门 expert 学不到东西。另一个难点是通信开销，尤其多机训练时，token dispatch 和 gat...

被横向挂了，希望发出来对大家有帮助！八股：1.RMSNorm2.Adamw和Adam的区别，好处是什么3.transformer的效率优化的地方，介绍以下KV cache4.你还了解哪些多模态大模型？5.Transformer有几个残差连接，分别在哪？6.pre-norm和post-norm的区别7.Lora的原理；矩阵的秩怎么取；矩阵如何初始化；会引入额外的耗时吗？其它的参数高效微调方法1.双塔模型的了解；clip的损失函数；clip为什么效果好；基于clip的工作2.clip相比llava这种全交互结构，差别在哪里？性能差异大吗？为什么？如果llava没有超过clip，是什么原因？3.clip和llava的图像编码器有区别吗？4.Qwen的训练流程，每一步的训练数据差别，为什么三阶段而不是二阶段手撕：零钱兑换

先跟大家说个核心原则：AI岗面试，基础概念是入场券，工程落地能力是核心，业务思维是最终录取的关键。面试官问的所有问题，本质上都是在判断：你能不能把AI技术落地到实际业务里，解决真实问题。下面我把所有问题分成4大类，从基础到高阶，全覆盖拆解。一、基础概念类：100%会问，送分题绝对不能丢分这类问题是面试的开胃菜，主要考察你对AI核心概念的理解，判断你有没有入了AI的门，绝对不能答得模棱两可。高频题目&满分答题思路什么是大模型幻觉？产生的根本原因是什么？避坑点：别只说“模型说假话”，要讲清楚本质，还要分维度说原因，体现你的深度理解。满分思路：先定义→大模型幻觉是指模型生成的内容，看似合理但...