字节-tac-面经-算法-大模型-搜推（持续记录）

1. 自我介绍2. 过一下你觉得最好的项目/实习。说了一个教程类开源项目，其中包括部署、LoRA微调等内容。又说了了另一个在学校做的项目，问的很细，包括我们使用Function Call做检索的流程、用langchain如何实现的，内部原理是什么。3. 下一个项目BERT相关的，问了问Transformer的原理结构，他的优点是什么，我讲的是他是不限制距离计算，有效遏制了经典RNN模型的长序列遗忘问题。问了问BERT的原理，幸好看过原论文，简单说了下。4. 下一个项目是做的Qwen SFT，训练数据如何生成的，多少数据，训练的参数，训了多久。5. 问了强化学习deepseek，我答了GRPO和PPO，问了DPO我没看过。6. medium题

LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?RAG技术：RAG(检索增强生成)的完整链路包含哪...

搜推算法岗极限三选一1️⃣快手 电商策略算法base：北京 针对 b 端，做商家策略优化（不是商城）转正率比较高（据说 80%），但不是模型，一般核，听说稍微涉及一些 llm4rec2️⃣字节 ttbase：上海 tt 短视频部门下面的图文推荐（类似 xhs？）不透露转正率，但转正[笑哭R][笑哭R]经典字节，这个组听说成立两年，不涉及 llm4rec，传统推荐3️⃣小红书base：北京 做冷启动推荐其他：蚂蚁，腾讯 wxg 刚约二面，百度星海计划 hr，饿了么 hr主要的倾向还是能否学到东西以及在秋招中的认可度，后续秋招比较倾向 llm4rec如果转正高用来 a 其他公司在秋招里面是不是有优势？也麻烦各位大佬在评论区说下选择的意见呗感谢大家！

真服了，我不信有这个题，还不会常见的业务题◆ 大模型（LLMs）基础面• 目前主流的开源模型体系有哪些？• prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别是什么？• 大模型LLM的 训练目标 是什么？• 涌现能力是啥原因？• 为何现在的大模型大部分是Decoder only结构？• 简单 介绍一下 大模型【LLMs】？• 大模型【LLMs】后面跟的 175B、60B、540B等 指什么？• 大模型【LLMs】具有什么优点？• 大模型【LLMs】具有什么缺点？◆ Layer normalization 篇• Layer Norm 的计算公式写一下？• RMS Norm 的计算公式写一下？• RMS Norm 相比于 Layer Norm 有什么特点？• Deep Norm 思路？• 写一下 Deep Norm 代码实现？• Deep Norm 有什么优点？• LN 在 LLMs 中的不同位置 有什么区别么？如果有，能介绍一下区别么？• LLMs 各模型分别用了 哪种 Layer normalization？◆ LLMs 激活函数篇• 介绍一下 FFN 块 计算公式？• 介绍一下 GeLU 计算公式？• 介绍一下 Swish 计算公式？• 介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式？• 介绍一下 使用 GeLU 的 GLU 块 计算公式？• 介绍一下 使用 Swish 的 GLU 块 计算公式？◆ Attention 升级面• 传统 Attention 存在哪些问题？• Attention 优化方向• Attention 变体有哪些？• Multi-head Attention 存在什么问题？• 介绍一下 Multi-Query Attention？• 对比一下 Multi-head Attention 和 Multi-Query Attention？◆ transformers 操作篇◆ LLMs 损失函数篇◆ 相似度函数篇◆ 大模型（LLMs）进阶面◆ 大模型（LLMs）微调面◆ LLMs 训练经验帖◆ 大模型（LLMs）langchain 面◆ 多轮对话中让AI保持长期记忆的8种优化方式篇◆ 基于langchain RAG问答应用实战◆ 基于LLM+向量库的文档对话 经验面.......