vivo大模型研究员 一面

📍面试公司：B站💻面试岗位：大模型❓面试问题：手撕多头注意力机制，然后问了为什么除以dk，除了注意力，transformer还有什么，batch norm和layer norm的区别，非线性是谁提供的对比学习的loss聊了很久的论文，具体都有什么场景dpo和ppo的区别，包括理论上，还有项目实际落地闲聊+反问🙌面试感想：体验良好，整体氛围很轻松

随着人工智能技术的飞速发展，AI推理大模型已经成为各行业关注的焦点。2025年，国内AI推理大模型领域呈现出百家争鸣的态势，其中DeepSeek、通义千问和腾讯混元等模型尤为引人注目。本文将从技术架构、性能表现、应用场景等多个维度对这三款模型进行对比分析。 本文针对5个服务商分别从数学逻辑推理、化学逻辑推理、生物逻辑推理能力、产品优势、基础技术参数、核心性能指标来进行对比。我们提供了一份详细的比较报告，涵盖多维度分析和丰富的数据对比，帮助用户快速了解服务商的特点，做出专业、明智的选择。 下图是我们对DeepSeek、腾讯混元、KimiGPT、百川大模型、通义千问多款AI文本生成工具进行多维度的...

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。  

（一）语言模型的发展历程词元（Token）1. 统计语言模型（Statistical Language Model，SLM）通常是根据词序列中若干个连续的上下文单词来预测下一个词的出现概率，即根据一个固定长度的前缀来预测目标单词。2. 神经语言模型（Neural Language Model，NLM）使用神经网络来建模文本序列的生成，例如word2vec（构建了一个简化的浅层神经网络来学习分布式词表示，所学习到的词嵌入（分布式词向量）可以用作后续任务的语义特征提取器）。3. 预训练语言模型（Pre-trained Language Model，PLM）代表：ELMo、BERT、GPT-1编码器...