笔试时间:2025年9月3日往年笔试合集:2023春招秋招笔试合集2024春招秋招笔试合集第一题在 MOE 模型训练时,token 会依据概率发送到 topk 个不同专家计算,这些专家分布在多个 NPU 卡上。Device - Limited routing 算法可将 token 路由目标限制在 p个 NPU 以降低通信成本,具体步骤如下:把 n个专家平均分配在 m个 NPU 上,每个 NPU 上的专家为一个组;设 n个专家的编号为 N = [0,1,2,…,n−1],同一个专家组上的专家编号是连续的;每个专家对应一个概率,表示被路由到的可能性;用每个组中的最大概率作为本组代表,从所有组中选择...