京东暑期实习算法工程师-大模型一面挂
项目一：模型微调相关（面试问答总结）
首先让我介绍了简历中的第一个项目——模型微调相关项目。在交流过程中，面试官主要围绕以下几个方面进行了提问：
1. 指令遵循能力（未微调情况下的提升方式）
面试官提问：
如果不进行微调，如何让模型在回答指令时具有更高的指令遵循能力（例如格式准确率更高）？
2. 训练数据来源与构造
- 训练数据是如何获取的？
- 数据是如何构造和设计的？
3. Transformer 中的注意力机制
- 讲解 注意力机制（Attention Mechanism） 的基本原理。
- 为什么在计算注意力分数时需要 除以
？
- 为什么是
？
4. LoRA（Low-Rank Adaptation）
- 介绍 LoRA 的基本思想与实现方式。
- 为什么 LoRA 算法属于低秩（Low-Rank）方法？
- 从数学角度解释：LoRA 是如何保证
W + ΔW仍然保持低秩结构的？
5. 手撕代码题
要求使用 PyTorch 或 NumPy 实现：
计算一个
N × D的矩阵与一个M × D的矩阵之间的 欧氏距离(a-b)^2，
返回一个N × M的矩阵，并且 不能使用 for 循环。
6. 反问环节
最后面试官询问：
“你有什么问题想要问我的吗？”
，咱们打工人找个安静的面试地方都难