算法面经3：nlp和llm，商汤科技

面试问题：- （针对简历提问）你工作里主要关注哪些指标？解释一下AUC含义、计算和作用- 主流的开源大模型结构有哪些？（prefix decoder，casual decoder、encoder-decoder）- 介绍一下layernorm和batchnorm的区别？- 在机器学习里，怎么处理长尾数据和多峰数据？- 怎么解决模型的冷启动问题，你觉得LLM在冷启动方面能够起到什么作用？- 介绍一下常见的优化算法（SGD ->Adagrad ->RMSProp ->Adam -> AdamW）？优缺点- 为什么Adam不一定最优而SGD最优的？怎么理解分析？- （针对简历提问）你工作里的对比损失是怎么构造的，有什么作用？介绍常见的对比损失的公式。代码题：- 数组第K大。给定整数数组 nums 和整数 k，请返回数组中第 k 个最大的元素。（力扣215原题）- 手写对比损失的计算（结合项目），并简单说了一下原理。（大概写出来就好）二面我这个是交叉面，提问的有部分设计大模型，也当然我简历上有大模型，所以问了一些llm+搜推的内容，但这部分交叉问题比较浅，能说个大概就很好，同时也有很多经典的机器学习面经问题。因为项目里提到了对标学习，所以面试官在代码考核部分让我写个示例，所以写进简历的一定要准备好（包括流程步骤，代码实现大概要清楚）。面广告算法的岗位，机器学习面经暴率很高，建议熟背，就算是看过有印象，问到的时候也会基本很稳。

BG双九1A二月底投了腾讯和字节，三月一整个月在梳理简历项目和刷力扣2.27 腾讯PCG一面3.4 腾讯PCG二面挂3.12 腾讯混元一面挂（MHA没撕出来，感觉自己很傻逼）3.13 字节Trae一面3.18 字节Trae二面挂3.20 腾讯CDG广告一面3.21 字节code平台一面3.24 字节code平台二面挂（又是MHA没撕出来，感觉自己更傻逼了）4.1 因为还没有一个offer，心慌至极，一天狂投20多家公司，四月开始复习八股4.4 阿里国际简历面4.5 饿了么+美团笔试4.7 腾讯CDG广告二面4.8 小红书交易算法一面4.9 小红书交易算法二面4.9 华为笔试4.10 阿里国际一...

搜推算法岗极限三选一1️⃣快手 电商策略算法base：北京 针对 b 端，做商家策略优化（不是商城）转正率比较高（据说 80%），但不是模型，一般核，听说稍微涉及一些 llm4rec2️⃣字节 ttbase：上海 tt 短视频部门下面的图文推荐（类似 xhs？）不透露转正率，但转正[笑哭R][笑哭R]经典字节，这个组听说成立两年，不涉及 llm4rec，传统推荐3️⃣小红书base：北京 做冷启动推荐其他：蚂蚁，腾讯 wxg 刚约二面，百度星海计划 hr，饿了么 hr主要的倾向还是能否学到东西以及在秋招中的认可度，后续秋招比较倾向 llm4rec如果转正高用来 a 其他公司在秋招里面是不是有优势？也麻烦各位大佬在评论区说下选择的意见呗感谢大家！

LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?RAG技术：RAG(检索增强生成)的完整链路包含哪...