all in 算法能行吗

（没准备还是不行啊哈哈哈）一、基础知识梯度 优化器 一阶动量 二阶动量 是啥梯度：梯度的反方向就是参数的更新方向一阶动量：梯度的指数加权平均公式：作用：平滑梯度，减少更新方向的抖动二阶动量：梯度平方的指数加权平均公式： 作用：自适应调整学习率大小adam 总体公式:模型初始化方法有哪些？全零初始化ReLU的激活函数，梯度是0sigmoid的激活函数，每层的神经元的输出相同，梯度相同（不为0），那么更新后的参数也相同，模型学不到任何特征随机初始化 (Random Initialization)目的： 打破对称性，确保不同神经元学习到不同的特征。缺点： 随机数过大或过小都可能导致梯度消失或梯度爆炸...

无论文无实习，想找大模型算法，犹如路边一条🐶，告诫师弟师妹们，找算法，实习论文必有其一，否则就会像我这般狼狈，简历挂麻了，人家实习我实验室干活，人家秋招我实习，人家玩耍，我春招。彻底放弃秋招，先去百度实习沉淀沉淀，争取转正。不行春招再战，感谢百度收留，爱度信度等度°

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？...

求职    简历如何优化