暑期实习

第 20 题：SwiGLU 激活函数相比 ReLU / GELU 的优势 题目 解释 SwiGLU 激活函数相比 ReLU 和 GELU 的优势。 一、ReLU 与 GELU 简述  ReLU：；简单、稀疏，但死神经元、非零处恒为 1 的梯度。 GELU：（与正态 CDF 相关）；平滑、在负半轴非零，被 BERT、GPT-2 等采用。  二、门控与 GLU 族 GLU（Gated Linear Unit） 形式：，即一路做门控（sigmoid），一路做线性变换，再逐元素乘。门控可让模型学会“选通”信息，提升表达能力。 SwiGLU：把门控的 sigmoid 换成 Swish（即 ，又称 SiL...

这样是挂了么

各位技术大牛好，这是一篇求助贴，想问问各位大佬，双飞本科 ，计算机专业毕业 ，目前毕业快两年，想着明年现在就要满三年了，还是想努力努力拿更高的薪水，目前在上海13k的水平很一般因为也是刚跳到上海来，之前都在郑州，自己之前也不怎么努力，上下班周末回家就躺的那种，天赋也很一般，所以还是想加油奋斗一下，但还是有点迷茫不知道要怎么突破现在的技术水平，想明年这会可以进去互联网公司做外包也可以，要进字节 ，美团 等等外包 或者中厂类的技术要达到什么样的水平，或者是否可以转转ai agent 相关的是否有机会突破月薪突破20k ，请求各位大佬指点迷津，虔诚拜三拜（有偿也可以）