1.八股：一个7B参数的大语言模型，在训练和推理时分别需要多少显存？影响显存占用的关键因素有哪些？2.八股：SFT 阶段，7B 和 70B 模型的学习率设置通常有何不同？背后的原理是什么？3.项目：DPO 训练过程中，你会重点关注哪些评估指标？为什么？4.项目：训练一个基于 pair 对的 reward 模型，loss 函数怎么写？如果是非 pair 形式（只标注最优 response），loss 又该如何设计？5.项目：DPO数据构造中常出现正负样本不均衡问题，你有哪些解决方案？6.项目：用DPO缓解幻觉时，如果反而引入了新的幻觉，可能是什么原因？7.项目：DPO中的beta参数代表什么？过大或过小会带来什么影响？8.项目：你在微调时是否观察过不同层的梯度差异？9.项目：不同参数高效微调方法（如 LoRA vs Adapter）在你的任务上效果对比如何？

1.八股：Transformer底层原理，为啥能替代RNN2.八股：大模型预测token的损失是怎么算的？有哪几种常见的损失函数？3.项目：看你做过RAG，讲讲从数据清洗到检索服务上线这整个链路是怎么搭的，怎么做chunk切分的4.项目：你觉得当前RAG的最大瓶颈在哪？你做过哪些改进来提升Recall5.项目：传统RAG有什么痛点；介绍GraphRAG，GraphRAG的难点是什么；GraphRAG如何应对增量场景6.项目：RAG中知识库搭建，对知识库的文件文档进行动态增量更新，怎么来避免新旧文档的文单的分布不一致导致的这种检索偏差问题7.项目：RAG怎么评估，RAG评估体系中最重要的是什么8.项目：常见的量化方式有哪些，QLoRA为什么选的是NF4和FP16这组组合，而不是别的组合？你能说说NF4的分布拟合逻辑吗9.项目：模型部署相关，说下模型部署的参数量和需求硬件之间的关系10.项目：部署一个MOE架构的千分三的235b的一个模型，他所需要的算力大概是多少？11.代码题：lc54. 螺旋矩阵

1.八股：DeepSeek-V3 和 Qwen2.5-Coder 在架构上有哪些关键区别？（如 MLA、MoE、GQA、Dense 等）2.八股：Transformer 中因果注意力（Causal Attention）和双向注意力的核心区别是什么？分别适用于什么场景？3.项目：如果 RAG 输出错误，怎么判断是检索错了还是生成错了？有做过归因实验吗？4.项目：Chunk划分策略对 RAG 效果影响大吗？你用过哪些优化方式（如语义分割、滑动窗口等）？5.项目：RAG 和 GraphRAG 在处理多跳推理时的根本区别是什么？6.项目：GraphRAG 如何解决传统 RAG 的“召回噪声”和“信息碎片”问题？7.项目：为什么 GraphRAG 能实现更精准的结构化召回？关键依赖是什么？8.项目：如果不用图数据库，能实现真正的 GraphRAG 吗？为什么？9.代码题：最长连续递增子序列（LeetCode 674）

1.八股：LoRA 和全参数微调的核心区别是什么？在显存和训练效率上各有什么优劣？2.八股：DPO、PPO、GRPO 三者的优化目标有何不同？为什么 GRPO 的 loss 中要显式加入 KL 散度项？3.八股：Transformer Encoder 中 FFN 的作用是什么？4.八股：什么是 DeepSeek 的 MLA？它的优势是什么？5.项目: 你在实习中用 LoRA 微调了哪个开源大模型？具体 rank、alpha、dropout 是多少？为什么这样设置？6.项目：SFT和DPO 数据是否有重叠？DPO 的偏好数据是如何构造的？人工标注成本大概多少？7.项目：你们的 RAG 系统召回阶段用了 BGE-M3 还是 BM25？最终选择依据是什么指标（如 Recall@k）？BGE-M3 输出向量维度是多少？8.项目：为什么不用纯向量相似度直接生成答案，而要再过一遍大模型？这样做对幻觉和安全性有什么帮助？9.手撕：接雨水（LeetCode 42）