NLP面经13

字节一面：上来先笔试1.拷打项目2.MoE3.有没有微调经验，如何微调，介绍原理4.RAG5.AI agent6.functioncall感觉拿我刷kpi了😭也可能是我没大厂实习的原因字节一面寄百度一面：1.拷打项目2.Blip和blip2区别3.clip怎么训练的4.chatglm的创新点是什么5.transformer八股6.拷打项目的sam模型7.笔试：开根数（本人没准备笔试，用的梯度下降，被狠狠羞辱后想起二分）百度一面过快手一面：1.拷打项目2.拷打blip2和clip3.问了下clip 和blip的一些损失函数4.拷打transformer5.多模态如何融合的6.拷打原生大模型7.退火笔试：最小覆盖子串快手一面过百度二面：和一面基本问题差不多，又格外拷打了vit的一些维度问题，和处理问题笔试：三数和百度二面过发了口头offer，经过对比后拒了，all in 快手快手二面：问的情景题：如何做视频相关大模型的应用，然后依旧拷打项目，感觉快手面试官人都不错。笔试：链表删除右节点快手二面过快手hr面：问了问入职时间，和一些基本信息，一共才面了10分钟左右，给我有点慌，不会日常实习给我hr面挂了吧😭😭😭😭。我已经很牛马了😭更新，老铁厂oc了~第一份实习，太难了😭        

LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?RAG技术：RAG(检索增强生成)的完整链路包含哪...

面试问题：- （针对简历提问）你工作里主要关注哪些指标？解释一下AUC含义、计算和作用- 主流的开源大模型结构有哪些？（prefix decoder，casual decoder、encoder-decoder）- 介绍一下layernorm和batchnorm的区别？- 在机器学习里，怎么处理长尾数据和多峰数据？- 怎么解决模型的冷启动问题，你觉得LLM在冷启动方面能够起到什么作用？- 介绍一下常见的优化算法（SGD ->Adagrad ->RMSProp ->Adam -> AdamW）？优缺点- 为什么Adam不一定最优而SGD最优的？怎么理解分析？- （针对简历提问）你工作里的对比损失是怎么构造的，有什么作用？介绍常见的对比损失的公式。代码题：- 数组第K大。给定整数数组 nums 和整数 k，请返回数组中第 k 个最大的元素。（力扣215原题）- 手写对比损失的计算（结合项目），并简单说了一下原理。（大概写出来就好）二面我这个是交叉面，提问的有部分设计大模型，也当然我简历上有大模型，所以问了一些llm+搜推的内容，但这部分交叉问题比较浅，能说个大概就很好，同时也有很多经典的机器学习面经问题。因为项目里提到了对标学习，所以面试官在代码考核部分让我写个示例，所以写进简历的一定要准备好（包括流程步骤，代码实现大概要清楚）。面广告算法的岗位，机器学习面经暴率很高，建议熟背，就算是看过有印象，问到的时候也会基本很稳。

1、自我介绍答：相比于一般的技术面介绍报一堆菜名，我减少了对技术栈的描述，加了点大学的学生工作经历，但是hr听完也没问我学生工作经历相关内容。2、说一下你团队竞赛的经历答：举了哈尔滨CCPC例，三人一组在一定时间内写算法题，根据通过题量排名，我在团队担当队长，主要负责贪心、并查集、模拟等算法。3、讲讲贪心算法是啥答：一下猛住了，想举个例子没举出好的，最后大白话说的就是在遍历过程中不断寻找最优解。（现在想想或许可以说苏格拉底的麦田的反例）4、讲比赛的过程答：因为比赛的题有简单题有难题，比赛开始时我们三人分别寻找并解答简单题，在比赛的中后段我们共同思考并分析一道题，最终取得了30%左右的排名成绩。...