给我面没招了，发点面经攒攒人品～项目细节拷打八股1.大模型了解多少，强化学习了解什么2.DPO的全称是什么，公式是什么，直接体现在哪里3.与PPO对比归一化方法• 常用的归一化方法有哪些• 讲讲RMSNormAUC• auc的定义• 从样本里随机去掉一些负样本，Auc怎么变优化器• 讲一讲常用的优化器• sgd是什么，Adam相对于sgd改进了什么位置编码• 正余弦位置编码的公式手撕• 计算逆序对数量• 多头自注意力

1、知道 GPT 和 BERT 这种模型的基础框架是怎样的吗BERT 和 GPT 都是基于 Transformer 的预训练模型，但结构和任务目标不一样。BERT 一般采用 Transformer Encoder 堆叠起来的双向编码结构，在预训练时主要做 MLM，也就是随机遮盖一部分 token，让模型根据上下文去恢复被遮掉的词，因此它更适合理解类任务，比如分类、匹配、抽取、检索表示学习。GPT 采用 Transformer Decoder 堆叠起来的单向自回归结构，在预训练时做 next token prediction，也就是根据前面的 token 预测下一个 token，因此它更适合生成...

这场面试整体体验很完美，面试官很好，后面大量的时间在介绍公司和成长规划，最后也是如愿以偿的过了1.自我介绍2.开发语言擅长哪一种，我回答的python2.python中列表和元组的区别3.你经常用python哪个库4.pandas对数据分块的方法5.场景：用pandas独立开发一个异常重置的功能块，你会怎么设计6.数据库查询返回速度较慢，你会怎么优化（常见八股）7.用过哪些bi工具，主要涉及哪些业务模块8.一些实习项目的拷打，数据倾斜之类的面试官介绍公司业务和我需要做的，体验真的蛮好，我有些疑问都耐心解决了，最后也通过了，春招迄今为止收到offer最想去的公司

1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？这个问题不能只看模型参数量，还得把训练时真正占显存的几部分一起算进去。全参数微调时，显存通常会被下面这些东西吃掉：模型参数本身梯度优化器状态前向传播保存的激活值CUDA 运行时和框架缓存如果用的是 AdamW 这类优化器，除了参数之外，还要额外维护一阶矩和二阶矩，所以训练显存会明显高于推理显存。一个比较粗糙但实用的经验是：全参数微调的显存，往往是模型权重显存的 6 到 12 倍左右，具体还得看序列长度、batch size、是否开 gradient checkpointing、是否做 ZeRO/FSDP 分片。拿 7B 模型举例，F...