2022.9.20思科笔试

1. 全参数微调的显存一般怎么估算全参数微调的显存不能只看模型参数本身，真正上线训练时至少要把参数、梯度、优化器状态和激活值都算进去。最粗略的估算方式是：如果模型参数量是 N，训练精度是 bf16，那么参数大约占 2N 字节，梯度再来一份 2N，如果用 Adam，还要额外保存两组一阶和二阶矩，通常再加 4N + 4N 字节。也就是说，不考虑激活值时，单参数相关内存大致可以按 12N ~ 16N 字节估。真正把 batch size、sequence length、checkpointing、并行策略加进去后，激活值往往才是大头。所以面试里如果只答“参数量乘 2”基本不够。更稳的答法是先给出静态...

😭😭😭已经投了500份简历，一个面试也约不到啊，大佬们可以说说为什么嘛😭😭😭

没想到挂了还有感谢信啊哈哈哈哈啊哈哈啊哈哈

全程大概是45分钟，面试官非常的和善，提问的时候会把自己的问题讲的很明白，会复述你的回答，double check问答是否有理解错误，感觉考察的是对于整个项目的了解程度，而不是简单的问你使用到了什么技术，所以还是要深挖自己的简历自我介绍实习项目穿插着八股1、登录页面怎么做的2、后端传过来的jwt存在哪里为什么放在cookie里，放在local storage里怎么携带的3、sessionStorage和localStorage有什么区别4、除了这种缓存还有其他的缓存手段（我答了协商缓存、强缓存）5、协商缓存和强缓存下浏览器的请求行为，协商缓存的相关字段+状态码6、大文件上传怎么做的7、为什么要...