📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣排序与选择·快排( LC 912)·数组中第 k 大的元素（ LC 215)·数组中最小的 k 个数( LC 面试题17.14)2️⃣二分与数学（含概率）· sqrt ( x )( LC 69)·pow ( x , n )( LC 50)·搜索旋转数组( LC 33)·Rand7实现Rand10( LC 470)3️⃣双指针与滑动窗口·三数之和（ LC 15)·滑动窗口最大值（ LC 239)·有效三角形的个数（ LC 611)·最小覆盖子串（ LC 76)·长度最小子数组( LC 209)4️⃣栈与队列／表达式·有效的括号（ LC 20)·最长有效括号( LC 32)·逆波兰表达式求值( LCR 036)5️⃣链表·反转链表（ LC 206)·反转链表 II ( LC 92)·k 个一组翻转链表（ LC 25)·环形链表/环形链表 II ( LC 141/142)·删除链表倒数第 n 个节点（ LC 19)·课程表 II ( LC 210)6️⃣动态规划（序列／路径／计数／区间）·最大子数组和（ LC 53)·最长递增子序列 LIS ( LC 300)·最小路径和（ LC 64)·加油站（贪心／ DP , LC 134)·最大乘积子数组（ LC 152)·打家劫舍 II ( LC 213)·不同的子序列( LC 115)·爬楼梯( LC 70)·最长公共子序列 LCS ( LC 1143)7️⃣字符串·最长回文子串（ LC 5)·最长回文子序列( LC 516)·字符串解码（ LC 394)·编辑距离( LC 72)·大数相乘（ LC 43)

1️⃣一面 1. 自我介绍（开始吟唱）2. attention计算公式3. 项目拷打，特征怎么做的，为什么选这个模型4.多目标学习建模方法5. 共享专家和独享专家的个数分别是多少6. 讲一下transformer的encoder和decoder8. 手撕：N皇后2️⃣二面1. 自我介绍2. itemcf公式，itemcf改进的公式了解吗3.项目拷打，问的比较仔细，模型的参数，数据量等4. MMOE的缺点？PLE的改进点在哪？transformer中用softmax有什么问题呢？该怎么解决6. 场景题：Alice和Bob选数字，偶数A得分，奇数B得分7. 手撕：最长递增子序列的改版8.反问📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.Lora 的相关八股:常见参数、缩放2.有没有做记忆衰退，避免旧数据干扰新任务？3.Deepspeed zero3为什么比zero2更省显存4.训练大模型的框架都有哪些呢5.讲解一下 Flash Attention6.讲解一下 Qwen 的滑动窗口注意力机制，计算量是多少？7.PPO 的损失函数构成。8.讲解一下KL散度。PPO和GRPO的损失函数有哪些区别？9．在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？10．32B 模型全量微调 和Lora 微调的显存估算11．你们这种模块堆叠的架构是怎么设计视觉问答模块和动作模块的协同逻辑的？12. human feedback 是怎么被 agent 消化吸收的？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

🍓针对今年要参加算法岗秋招的同学，给大家讲解一下淘天集团部门的分布和岗位情况，方便大家认识目前算法岗的招聘现状。[火R]淘天分为阿里妈妈，搜推智能产品事业部和业务技术三大部门。算法岗主要围绕大模型，搜广推，多模态，AIGC，机器学习等方向进行招聘。1️⃣阿里妈妈：有稳定的收入来源，团队氛围和技术都算首屈一指，包括广告算法团队和AIGC团队，分别招聘搜广推算法/大模型算法和AIGC图像/视频生成算法。面向的场景是：搜索，生成式推荐，出价，生成式创作工具等2️⃣搜推智能产品事业部：包括算法技术和未来生活实验室。技术方向广泛，包括搜索推荐的智能化，基座大模型，也包括AI应用比如拍立淘，淘宝问问等。招聘的算法方向是最多的，包括搜广推算法，大模型预训练，大模型应用，生成式搜推，多模态表征，AIGC生成等。部门目标是AI赋能淘宝，推动下一代AI搜推系统的发展。3️⃣业务技术团队：包括AI原生团队，淘宝3D团队，音视频技术团队，供给团队和直播AIGC团队。原生团队和直播AIGC团队招聘面向多模态/AIGC方向。供给团队面向大模型/Agent方向进行招聘。🍓给大家总结一下：如果要收获好的算法岗offer，尽量选择工业界的热门方向去提升自己，比如大模型/多模态/AIGC/生成式搜推，这些方向是未来互联网大厂重点投入的。✴️如果同学想免费规划算法岗学习路线以及了解项目辅导的具体信息，欢迎后台咨询，支持大模型/多模态/搜广推/AIGC等热门方向。

✅一面 1.针对简历上的实习提问。2.kl散度和交叉熵的关系3.LoRA介绍，和全参sft怎么选择？小模型的sft和大模型的LoRA效果对比会是怎么样的？sft数据集如何构建？4.介绍AUC，AUC表达的是什么？5.recall重要的场景下，如果recall很高，precision很低怎么办？6.precision和recall都是什么，不同场景下precision和recall如何关注？哪个更重要？7.手撕-实现shuffle函数。✅二面1.实习项目介绍和提问。2.对一份数据在某个场景下进行分类/识别/检测，用大模型有什么方法可以做？3.如何对AIGC的文本进行评估？4.幻觉如何解决？真实性如何评估？5.RAG过程中索引可以做哪些优化？6.kl散度表示的是什么。7.反思机制是什么做的？为什么要用反思？8.ppo中kl散度的作用。9.手撕kmeans。10.实现一个简单的mlp，从csv读取数据。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣一面：1．自我介绍2．选一个做的好的实习或者论文讲一下3．了解 RAG 吗， GraphRAG 的做法4．讲一下 FlashAttention 的思想和做法5．讲一下 RoPE ,目前常用的位置编码还有哪些， Ro PE 有什么优点6．场景题：如果要提升大模型的多轮对话能力，你有哪些可以改进的点7．代码题：56．合并区间2️⃣二面：1．自我介绍，问实习和论文2．实习微调过Qwen2，你说说Qwen2的模型结构吧，Qwen2相比Qwen1做了哪些改进3．为什么现在 Decoder - only 成为大模型的主流架构4．了解过哪些模型训练推理优化的方法5．为什么有了 SFT 之后还需要 RLHF6 .PPO 和 DPO 的主要思想是什么7．代码：23．合并 K 个升序链表3️⃣三面：1．自我介绍，过实习和论文2．了解 Qwen 的结构吗，微调的数据配比是怎样的3．大模型的灾难性遗忘问题怎么解决4．了解 KV cache 吗， GQA 的思想是什么5．场景题：目前有一些专业领域知识（如医疗知识或者法律条文），准备做个智能助手，如何搭建一个 RAG 链路6．开放题：用过豆包吗，觉得目前豆包还存在什么问题7．代码：416．分割等和子集📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✅数值范围 FP16：指数位为5位，数值范围约为±6.1×10−5±6.1×10^{-5}±6.1×10−5到±65504±65504±65504，范围较小，易出现上溢（值超过655046550465504变为无穷大或NaN）或下溢（值小于6e−56e-56e−5被舍为0），导致训练不稳定。BF16：指数位为8位，数值范围与FP32相同，约为±1.2×10−38±1.2×10^{-38}±1.2×10−38到±3.4×1038±3.4×10^{38}±3.4×1038，范围极大，几乎不会发生溢出，训练稳定性更高。✅精度FP16：尾数位为10位，能表示约3-4位小数，精度较高，适合对数值精度要求高的场景。BF16：尾数位为7位，能表示约2-3位小数，精度略低，但在大模型训练中通常足够，且可通过混合精度训练弥补精度损失。✅训练稳定性FP16：需配合损失缩放（Loss Scaling）技术防止梯度下溢，训练流程较复杂。BF16：无需复杂缩放策略，直接用于计算即可保证稳定性，简化训练流程。✅硬件支持FP16：支持广泛，NVIDIA Volta及后续架构GPU均支持。BF16：较新，NVIDIA Ampere、Hopper架构（如A100、H100）及Google TPU等支持。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

深度学习模型参数初始化为0会导致严重的训练问题，主要体现在以下方面：一、参数对称性与神经元退化1.同层神经元输出一致当所有权重初始化为0时，同一层的所有神经元在前向传播中会输出相同的激活值（例如隐藏层神经元输出均为0)。即使反向传播时梯度不为0，所有参数的更新幅度也会完全一致，导致神经元无法学习差异化特征。2.网络退化为单神经元效果由于参数对称性，每一层相当于仅有一个有效神经元在起作用，其余神经元成为冗余计算单元，极大降低了模型的表达能力。二、梯度消失与参数更新失效1.反向传播梯度趋零在激活函数如 ReLU 的前向传播中，若输入为0，其导数也为 O （如 ReLU 在负区间的导数为0)。反向传播时梯度逐层衰减至0，导致权重无法更新。例如，两层 ReLU 网络初始化为0时，所有梯度均为0，参数完全停滞。2.偏置参数的局限性即使偏置（ bias ）初始化为非零值，若权重矩阵为0，前向传播的输出仍由偏置主导，无法有效传递输入信号的特征信息。三、特殊情况下的例外1.无隐藏层的模型可初始化为0逻辑回归、单层感知机（如线性回归）等无隐藏层的模型，由于参数更新不受对称性影响，初始化为0仍可正常训练。例如逻辑回归的梯度更新依赖输入数据的差异性，参数可通过训练逐步分化。2.偏置参数的初始化策略部分研究表明，偏置可单独初始化为0而不影响训练（如全连接层的偏置项），但需结合非零权重初始化。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。