面试字节大模型（LLMs）RAG面被问麻了~
- LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?
- Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。
- 位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?
- Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?
- RAG技术：RAG(检索增强生成)的完整链路包含哪些步骤?为什么它能提升生成质量?
- 大模型幻觉：大模型产生幻觉的根本原因是什么?
- 显存计算：7B 模型在训练和推理时的显存占用如何估算?显存与参数量、批次大小、序列长度的关系是什么?
- 实习与论文：详细说明实习中解决的一个技术难点，涉及哪些模型或算法?如何评估效果?
- 链表操作：删除链表倒数第 N 个节点的算法思路?如何用双指针法实现?边界条件(如头节点删除)如何处理?
查看10道真题和解析