1.实习介绍2.介绍transformer架构3.transformer架构为什么要切分为多头？4.讲一下attention的具体计算步骤5.计算attention的softmax之前为什么要除根号d_k6.介绍一下transformer位置编码；还了解别的位置编码吗？7.如果在transformer中，把K去掉，变成Q*Q*V，这样会有什么问题吗？假如不考虑解码器，只考虑编码器内部的attention操作的话，这样会有什么问题？8.transformer是encoder-decoder架构，而GPT是decoder-only架构，为什么会演变成这样一种形式？为什么把encoder给舍弃掉了？9.为什么像GPT这种生成式任务，不同时利用encoder-decoder？10.transformer的FFN层为什么会逐渐演变成MOE层？11.moe层的负载均衡具体是怎么做的？偏置项b是怎么训练的？你怎么保证有一个机制让偏置项得到变换？照理来说，偏置项b应该放到损失函数中，这应该怎么设计？12.做agent有哪些框架？13.做agent的开发范式有哪些？14.lora微调的核心原理是什么？15.大模型幻觉了解吗，怎么缓解大模型幻觉？16.手撕，最长递增子序列

1.实习介绍2.论文工作介绍3.为什么构建这个benchmark4.构建数据集的时候遇到哪些问题，怎么解决5.选择这个微调模型的原因6.mplug的框架7.视觉编码器用的什么8.线性投影层具体情况9.qwen2的结构10.transformer的计算11.了不了解其他的transformer或者attention12.用了多少卡13.怎么做的分布式训练14.zero3不适合训练使用的原因15.介绍论文的多阶段CoT微调16.lora的原理17.lora的初始化18.矩阵B 为什么用0初始化19.手撕：一个字符串中出现次数最多的字符以及次数20.反问的时候还问了强化学习的原理

1.项目介绍2.在参数高效微调中，为什么优先微调 Attention 层的 Q/K/V/O，而不是 FFN 层？3.RAG 和 GraphRAG 在处理多跳推理时的根本？4.RAG 的整体流程5.GraphRAG 系统整体流程6.RoPE 为什么能实现相对位置编码？7.Transformer 中因果注意力和双向注意力的区别8.手撕代码题：最长连续递增子序列（LeetCode 674）

1．项目介绍，问实习和论文2．实习微调过Qwen2，你说说Qwen2的模型结构吧，Qwen2相比Qwen1做了哪些改进3．为什么现在 Decoder - only 成为大模型的主流架构4．了解过哪些模型训练推理优化的方法5．为什么有了 SFT 之后还需要 RLHF6 .PPO 和 DPO 的主要思想是什么7．代码：23．合并 K 个升序链表