一种控制信息流的门控机制,用于替代传统的前馈网络
一种用于MoE架构中的专家选择机制
一种特殊的激活函数,结合了线性变换和非线性门控
一种用于长序列处理的注意力变体
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题