字节日常实习offer审批

1. grok3: 日常生活使用频率最高，我的现任搜索引擎，实时事件分析很不错评价：推理能力强，相比国内的没有太多限制，速度也很快2. deepseek R1：不能科学上网的时候用😂写作优化评价：文科能力比另外的好用（毕竟本土化），deepsearch速度比较慢，限制也比较明显3. ChatGPT：使用场景如上，grok和ds出来以后逐渐没在用了4. 阿里千问qwq：个人本地部署，官方评分接近和deepseek-r1满血版，我的电脑64G内存m1MAX也能本地部署跑起来，大概14token/s评价：数学推理，编程比肩r1，最近的新玩具

首先面试官人挺好的。开始：自我介绍与项目介绍项目拷打：我的项目是一个异步RPC框架作为服务端，还有客户端，刚开始没表达清楚。以为只有服务端问：你的服务端里面，用户ID持久化问题，每次消息过来会不会落盘，如果只存在缓存里面是不是会造成信息丢失。答：我刚才没说清楚，一共实现了两个业务功能，用户请求验证码，用户请求登录。用户消息携带用户ID(usr_ID)从客户端打过来的，接收之后就会落盘，存到数据库里面，会有一个map<usr_ID,code>,code是返回给客户端的验证码，这一步是为了利用缓存，如果用户继续请求登录，就会先从map里面查询了，如果查不到，从数据库里面找，是实现了数据...

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.为什么要使用HSTU,它相较于其他推荐模型有什么优势?2. 介绍一下双塔模型？3. 训练双塔模型时，怎么处理正负样本不均衡。欠采样的方法有哪些？4. 介绍一下常用于推荐的序列模型？5. Transfomer能用来作为序列模型吗？ 但是为什么transfomer不常用于精排呢？6. Transformer和din的参数差异，计算复杂度的区别？7. 介绍一下传统序列模型和transformer的区别？8. Transformer用的归一化函数？为什么语言模型不能使用batch norm？Batch norm和Layer norm的区别是什么？9.有哪些位置编码，各有什么优劣，rope相较于正余弦的优势在哪里，都不需要参数?10.讲一下rope的原理，和公式，rope为什么广泛应用于大模型，但在推荐场景很少用,为什么?11.为什么你使用的HSTU中要加入高效注意力机制?还了解其他的高效注意力机制吗?12.延长序列长度就一定会有效果上的提升吗?最终效果提升了多少?13. 为什么deepseekv3，训练的很快，推理的很快？它用了怎样的量化？MOE，并行手法？14. 还有哪些优化的注意力机制方法，它们的原理是什么？15. 还有哪些加速模型训练的方法？16. 为什么要优化KV-cache？

发一下问题给大家参考，攒攒人品！1.mha的作用是什么?2.qkv中attention计算公式3.除以根号d的作用是什么?4.layernorm作用是什么 放在前面后面的区别是什么 前归一化和后归一化的区别5.大模型主流的是什么?rmsnorm，为什么主流的是这个?6.对序列建模，对超长序列的优化手段有什么?7.token压缩的方式?8.长序列训练效率相关的，如何加速？9.训练模型遇到过哪些异常?如何解决?10.碰到nan怎么解决11.梯度消失和梯度爆炸分别如何解决?12.除了梯度异常 还有其他异常吗13.比如过拟合  如何解决14.手撕: 组合总和2