1.实习介绍2.介绍Transformer，Decoder中的cross-attention3.vllm原理，如何调度4.分布式训练的架构，业务场景是什么5.NCCL通信底层算法6.protobuf反序列化中，传输错误的解决方案7.Java Spring是否了解8.手撕：LFU+反转链表II

1．实习介绍2．选一个做的好的实习或者论文讲一下3．了解 RAG 吗， GraphRAG 的做法4．讲一下 FlashAttention 的思想和做法5．讲一下 RoPE ,目前常用的位置编码还有哪些， Ro PE 有什么优点6．场景题：如果要提升大模型的多轮对话能力，你有哪些可以改进的点7．代码题：56．合并区间

  😭0实习选手咋办呀！

1. 简历深挖围绕实习项目展开，问得很细，建议把自己做的每个模块的逻辑、贡献、思考都理清楚。2. 理论基础1.KL散度和交叉熵的关系？2.介绍LoRA，和全参SFT怎么选？小模型SFT vs 大模型LoRA效果可能如何？SFT数据集怎么构建？3.介绍AUC，它表达的是什么？4.Recall重要的场景下，如果recall很高但precision很低怎么办？5.Precision和Recall分别是什么？不同场景下如何权衡？哪个更重要？3. 手撕代码实现 shuffle 函数（注意洗牌算法的公平性和复杂度）