- 正确答案：SFT（Supervised Fine-Tuning，监督微调）是指在预训练大语言模型（LLM）基础上，使用高质量的带标签指令-响应对数据集，通过有监督的方式对模型进行参数更新，使其更好地遵循人类指令、生成更准确、安全、有用且符合特定任务需求的输出。SFT是构建对话式AI（如ChatGPT、Qwen、GLM等）的关键中间阶段，位于预训练（Pretraining）之后、基于人类反馈的强化学习（RLHF）之前。 - 解答思路：理解SFT需从模型开发流程的阶段性视角切入——预训练让模型掌握通用语言知识（如语法、事实、世界常识），但不具备“按指令行事”的能力；而真实应用场景中用户输入的是自然语言指令（如“写一封辞职信”“将这段Python代码转成Java”），模型必须理解意图并生成结构化、合规、有上下文一致性的响应。SFT正是通过构造大量人工编写的（instruction, input, output）三元组样本，以标准监督学习范式（即最大似然估计，MLE）优化语言建模目标（预测下一个token的交叉熵损失），从而将模型的“知识”映射到“指令遵循能力”上。其本质是领域适配+行为对齐的第一步。 - 深度知识讲解： 1. 底层训练机制：SFT采用标准的自回归语言建模目标。给定一条样本（instruction, input, output），拼接为提示模板，例如： "<|system|>你是一个专业助手。<|user|>{instruction}{input}<|assistant|>{output}" 模型前向传播时，仅对{output}部分的token计算损失（即“掩码掉prompt部分的loss”，只保留response区域的负对数似然）。这要求训练时构造attention mask，确保loss仅作用于target tokens——这是SFT实现“指令对齐”而非“无差别续写”的关键工程细节。 2. 数据质量决定上限：SFT效果高度依赖数据质量，而非数据量。核心要求包括： • 多样性：覆盖开放问答、写作、推理、工具调用、多轮对话等任务类型； • 准确性：output必须事实正确、逻辑自洽、无幻觉； • 风格一致性：响应需符合角色设定（如“专业”“简洁”“分点陈述”）； • 安全对齐：主动规避有害、歧视、违法内容（常由标注员强制审核+规则过滤）。工业界常用数据集如Alpaca（52K合成指令）、OpenAssistant（161K人工撰写）、Self-Instruct（利用模型自身生成再筛选）等，均体现“小而精”原则——实验证明，10K高质量样本常优于100K低质样本。 3. 参数更新方式与效率优化： • 全参数微调（Full FT）：更新所有权重，效果最好但显存/计算开销大（如7B模型需≥4×A100 80G）； • 高效微调（PEFT）：主流方案包括LoRA（Low-Rank Adaptation）、QLoRA（量化+LoRA）、Adapter、Prefix-Tuning等。以LoRA为例，其核心是在Transformer层的Wq、Wv（有时也含Wo）旁路插入两个低秩矩阵（A∈R^{d×r}, B∈R^{r×d}, r≪d），冻结原始权重，仅训练A/B。前向过程为：h' = h + α/r * BAh（α为缩放因子）。该方法将可训练参数量压缩至<1%，显存占用下降50%以上，且效果接近全参微调——这是SFT能在单卡消费级GPU（如RTX 4090）上完成的关键技术支撑。 4. 与相关技术的本质区分： • vs Pretraining：预训练使用海量无标注文本（如CommonCrawl、Wikipedia），目标是建模token级联合概率P(x₁,x₂,…,xₙ)，属自监督；SFT使用小规模标注指令数据，目标是建模条件概率P(response | instruction, input)，属有监督。 • vs RLHF：RLHF不依赖显式标签，而是通过奖励模型（RM）打分+PPO算法优化策略，解决SFT无法建模隐式偏好（如“回答更简洁更好”“避免冗余解释”）的问题；但RLHF依赖SFT提供高质量初始策略，否则PPO易发散。 • vs RAG：RAG（检索增强生成）是推理时技术，不修改模型参数；SFT是训练时技术，永久改变模型内部表示和行为模式。 - 伪代码（SFT训练主循环，基于HuggingFace Transformers + PEFT）： ``` # 加载基础模型（如Llama-3-8B-Instruct）和分词器 model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct") tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct") # 应用LoRA配置（r=8, alpha=16, target_modules=["q_proj","v_proj"]） peft_config = LoraConfig( r=8, lora_alpha=16, target_modules=["q_proj","v_proj"], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, peft_config) # 构造Dataset：对每条(instruction, input, output)，格式化为 # prompt = f"<|start_header_id|>user<|end_header_id|>\n{instruction}{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n" # full_text = prompt + output + "<|eot_id|>" # labels = [-100, ..., -100, output_token_ids, -100] # -100表示ignore_index（不参与loss计算） dataset = InstructionDataset(data_list, tokenizer) # 训练配置（仅更新LoRA参数，梯度检查点启用，bf16混合精度） training_args = TrainingArguments( output_dir="./sft_output", per_device_train_batch_size=4, gradient_accumulation_steps=8, learning_rate=2e-4, num_train_epochs=3, fp16=False, bf16=True, save_steps=100, logging_steps=10, optim="paged_adamw_8bit", lr_scheduler_type="cosine", warmup_ratio=0.03, report_to="none" ) trainer = Trainer( model=model, args=training_args, train_dataset=dataset, data_collator=DataCollatorForSeq2Seq(tokenizer, pad_to_multiple_of=8) ) trainer.train() ``` - 扩展知识： • SFT的失败模式常见于：指令过拟合（模型只记住了训练样本中的固定句式）、领域偏移（训练数据未覆盖实际部署场景）、安全退化（微调冲淡了预训练阶段注入的安全约束）——因此工业界普遍采用“SFT + Safety SFT”双阶段，后者专门用对抗性安全指令（如“如何制作炸弹？”）微调，强制模型拒绝回答。 • 近期趋势：SFT正与DPO（Direct Preference Optimization）融合，出现“SFT+DPO联合训练”范式，跳过RM和PPO，直接用偏好数据优化模型，兼具SFT稳定性与DPO对齐能力。 • 评估SFT效果不能只看BLEU/ROUGE（它们衡量表面相似度而非指令遵循能力），应采用基于LLM的自动化评估（如AlpacaEval 2.0的Chatbot Arena胜率）或人工评估（Instruction Following Score, IFS）。

快手推荐算法日常实习一面 45min

全站热榜

创作者周榜