首页 > 试题广场 >

混合专家（MoE）模型训练中，部分专家负载为0且梯度为NaN

[单选题]
混合专家（MoE）模型训练中，部分专家负载为0且梯度为NaN。根治措施是： 
  • 为冷启动专家添加先验知识初始化
  • 门控网络输出添加高斯噪声
  • 增大专家选择数k
  • 启用负载均衡损失（Load Balancing Loss）
查看正确选项
添加回答
爱跳的Mario头像 爱跳的Mario
moe nan 冷启动
发表于 2026-04-11 08:20:31 回复(0)
提交观点

问题信息

大模型开发
难度：
1条回答 125浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号