1. 介绍下你实习学了什么 做过什么项目,为什么离职的2. MoE 为什么能在参数量很大的情况下还能把训练和推理成本压住，真正难点在哪MoE 的关键不是“参数变多了”，而是“每个 token 只激活一部分参数”。也就是说总参数量可以做得很大，但单次前向只走少数几个 expert，所以理论上计算量不会随着总参数线性增长。这个思路在大模型里很有吸引力，因为可以同时兼顾容量和成本。但真正难的地方是路由和负载均衡。路由器如果只偏爱少数 expert，训练会很不稳定，热门 expert 被打爆，冷门 expert 学不到东西。另一个难点是通信开销，尤其多机训练时，token dispatch 和 gat...

🤡😭      

自我介绍实习项目介绍询问项目中的一些问题检索 Agent 中是如何做上下文管理的，简单的说了一下我们做的上下文管理工具，把一些无用的内容摘出上下文大语言模型的输出是如何进行约束的，我说是通过业务的自我检查和系统提示词约束来做的，(但实际上我们那边是通过在推理引擎那里做的工作，但我不明白不敢说)然后一些项目上的其他问题一道 AI Coding 的题目，不可以直接把题目丢给 AI，要自己先提炼出需求。我是先整理成了一个 md 文档，然后让 codex 来做，但是梯子质量有问题，特别慢，做完了后我又开了一个 Codex 会话来帮我检查，检查到一半，面试官说 OK 了。直接进入反问环节。总时长 45m...