1. 全参数微调的显存一般怎么估算全参数微调的显存不能只看模型参数本身，真正上线训练时至少要把参数、梯度、优化器状态和激活值都算进去。最粗略的估算方式是：如果模型参数量是 N，训练精度是 bf16，那么参数大约占 2N 字节，梯度再来一份 2N，如果用 Adam，还要额外保存两组一阶和二阶矩，通常再加 4N + 4N 字节。也就是说，不考虑激活值时，单参数相关内存大致可以按 12N ~ 16N 字节估。真正把 batch size、sequence length、checkpointing、并行策略加进去后，激活值往往才是大头。所以面试里如果只答“参数量乘 2”基本不够。更稳的答法是先给出静态...

秋招0offer，估计简历有问题   

学院本进不了开发岗吗

项目深挖很多，也聊到了互联和软件硬件协同最近面了一场阿里云的 AI Infra 二面，整体感受是，这轮不是那种偏八股或者偏刷题的面试，更像是围绕项目经历一路深挖，看你到底有没有真的做过优化，也看你对自己后面想做的方向是不是足够清楚。开头还是常规自我介绍，我主要讲了自己现在在做的方向，包括 AI Infra、异构计算、底层性能优化，以及一些算子开发、图优化、推理优化相关的经历。后面的问题也基本都是顺着这些内容往下展开。前半段主要是在深挖项目。面试官先问了我现在做过的几类事情，我把内容归成了三块：一块是算子优化，一块是算子融合和图优化，还有一块是一些稳定性问题和 bug 修复。这里他问得比较细，不...