1. 全参数微调的显存一般怎么估算全参数微调的显存不能只看模型参数本身，真正上线训练时至少要把参数、梯度、优化器状态和激活值都算进去。最粗略的估算方式是：如果模型参数量是 N，训练精度是 bf16，那么参数大约占 2N 字节，梯度再来一份 2N，如果用 Adam，还要额外保存两组一阶和二阶矩，通常再加 4N + 4N 字节。也就是说，不考虑激活值时，单参数相关内存大致可以按 12N ~ 16N 字节估。真正把 batch size、sequence length、checkpointing、并行策略加进去后，激活值往往才是大头。所以面试里如果只答“参数量乘 2”基本不够。更稳的答法是先给出静态...

目标后端

现在好多技术都在学，项目还在搞，但是害怕时间太晚来不及了，只要有人要我就可以了小厂也可以，佬佬帮我看一下😭😭

今天拼多多后端一面，给我干沉默了一次。 提前说：我字节一面过了，以为拼多多差不多，结果完全不是一个量级。 【题目流水账】 HashMap数据结构，说清楚扩容机制，为什么用红黑树而不是AVL树。（我说到一半说错了，面试官直接打断："那个不对，重新说"，全程很直白） ThreadLocal原理，说一下内存泄漏的情况以及如何避免。 MySQL索引，B+树结构，为什么不用B树，磁盘IO怎么估算。 手写代码：LRU缓存，要求O(1)读写。我写了LinkedHashMap方案，面试官说：好，现在不用库，手写一遍。 手写完之后面试官突然问：你投递了多少家公司，用什么管理进度？ （这个我没...