项目一:模型微调相关(面试问答总结) 首先让我介绍了简历中的第一个项目——模型微调相关项目。在交流过程中,面试官主要围绕以下几个方面进行了提问: 1. 指令遵循能力(未微调情况下的提升方式) 面试官提问: 如果不进行微调,如何让模型在回答指令时具有更高的指令遵循能力(例如格式准确率更高)? 2. 训练数据来源与构造 训练数据是如何获取的? 数据是如何构造和设计的? 3. Transformer 中的注意力机制 讲解 注意力机制(Attention Mechanism) 的基本原理。 为什么在计算注意力分数时需要 除以 ? 为什么是 ,而不是 ? 4. LoRA(Low-Rank Ada...