面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

offer决赛圈，求帮选，博主南方人，base地更偏爱杭州，但jd的总包真的很多，而且也在部门实习过，领导比较看重，真的很纠结

面试题简述手上有20亿个手机号，现在需要支持高频查询：给定一个手机号，快速判断它是否在集合中。请设计方案。考虑内存、查询速度、误判率、可扩展性，给出具体数据结构、内存估算、以及如何做到分布式处理。面试官想听的1、是否掌握大规模集合存在性检测常用方法。2、是否能做内存、精读、延迟之间的权衡。3、是否能给出可落地的方案。面试示例回答给20亿个手机号，我们先明确目标：是否允许少量误判？是否允许误报但不能漏报？查询QPS环境如何？常用可选方案有三种主流路径：布隆过滤器 + 后备精确存储、磁盘索引、可压缩位图/哈希分桶。下面我说明下我设计的方案：1、首先方案：Blloom Filter + 精确回查2、...

感觉今年扩招挺明显，而且阿里字节腾讯小红书快手等等大部分大厂薪资全部上涨了985 本科生， 一段实习，保研秋招两手抓， 但秋招的 offer 已经达到我研究生预期的薪资了，直接放弃保研了