第 20 题：SwiGLU 激活函数相比 ReLU / GELU 的优势 题目 解释 SwiGLU 激活函数相比 ReLU 和 GELU 的优势。 一、ReLU 与 GELU 简述  ReLU：；简单、稀疏，但死神经元、非零处恒为 1 的梯度。 GELU：（与正态 CDF 相关）；平滑、在负半轴非零，被 BERT、GPT-2 等采用。  二、门控与 GLU 族 GLU（Gated Linear Unit） 形式：，即一路做门控（sigmoid），一路做线性变换，再逐元素乘。门控可让模型学会“选通”信息，提升表达能力。 SwiGLU：把门控的 sigmoid 换成 Swish（即 ，又称 SiL...

这个是流程终止了吗

鼠鼠好唐鼠鼠好唐鼠鼠好唐鼠鼠好唐鼠鼠好唐鼠鼠好唐鼠鼠好唐鼠鼠好唐鼠鼠好唐鼠鼠好唐

比较巧合，最近有几个咨询者都是风电行业相关的，有进有出，有老有小，这次就梳理下这群公司。笔记不含团队的问题，只说宏观行业和公司。做数据的时候也发现了一些重点框架，跟自己做的具体团队调查能对应上，宏观和微观背离的团队比较少。1、主要公司为远景能源、金风科技、明阳智能、运达股份、三一重能、电气风电、东方电气风电和中车，很多都是相互跳，实际跳槽范围还有华为和隆基绿能等，看岗位类型。2、首选高稳定+高利润+扩张的企业，能同时做到这两点的很少，一般都会有一定波动，只要波动不大就行。次选能满足其一的，最后就是减员减收的。需要注意总数稳定但替换快的团队。3、全国资控股与国资参股的市场化运营公司差异很大，求职...