大模型相关项目

1️⃣实习介绍2️⃣基本就是顺着简历全在问八股1.Transformer 的结构，有哪些可以学习的参数2.多头自注意力结构，矩阵个数3.ffn结构4.encoded decoder 区别5.一个 decoder block 由几个部分组成6.encoder 的输出，作为什么到 decoder7.为什么 decoder 更适合生成8.decided mask 在推理中有用吗9.Transformers 各个架构的改进（attention/ffn/位置编码）分为：10.GQA MHA MQA 区别11.swiGLU 的改进12.rope 在哪里加入3️⃣然后开始项目，其实也问很多八股：1.用的什么开源 dpo 数据2.为什么没用 qwen-33.全参数微调 7B 需要多少显存4.FP16/BF16 区别5.AdamW 显存计算6.介绍 Flash attention7.介绍 gradient checkpoint8.RougeL 计算方法9.代码：找数组第 k 大元素