以学到知识为准吧

面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

第一个实习真的很难找，很多企业直接不要大三的，在boss上沟通了一百多家，一共只投出去了10份左右简历，求牛友们出出主意😭😭😭

之前逃课去实习被逮回学校了，至今仍在上课，秋招收获0蛋

在牛客写东西的目的不是为了卖广告，而是通过公开的输出倒逼自己去保持对技术的深度思考和高质量输入。因为即使师兄师姐反复告诉你，在实习/刷题过程中天天写点技术博客总结很有用，但大部分人是坚持不下来的。因为写在本地的Markdown里没有奖励、没有反馈，更没有监督。很多人说自己“只会敲代码，不会讲代码”，面试时明明做过的项目却讲不出亮点。如果你不是天生逻辑爆表、反应极快，那么训练技术表达能力最好的办法就是保持技术输出。当你开始在牛客上发自己在实习/学习中总结的技术贴时，你会发现：如果你写得好、逻辑通顺，会有牛友给你点赞、收藏、接好运，这是奖励和正反馈；如果你写的不对，对某个底层原理理解有偏差，评论区...