- 正确答案：SFT 是 Supervised Fine-Tuning（监督微调）的缩写，是大语言模型（LLM）训练流程中的关键阶段，指在预训练模型基础上，使用高质量、带标签的指令-响应对（instruction-response pairs）数据集，以有监督方式对模型参数进行进一步训练，使其具备遵循人类指令、生成准确/安全/有用回复的能力。 - 解答思路：理解 SFT 需要回溯 LLM 的完整训练范式——通常分为三个阶段：1）无监督预训练（Pretraining），在海量无标注文本上学习语言建模能力（如预测下一个 token）；2）监督微调（SFT），用小规模但高质的人工构造指令数据（如 Alpaca、Dolly、Self-Instruct 生成的数据）进行有监督训练，将通用语言能力对齐到“遵循指令”的行为模式；3）基于人类反馈的强化学习（RLHF）或直接偏好优化（DPO）等对齐阶段。SFT 是承上启下的核心环节：它不改变模型底层语言建模能力，而是重定向其输出分布，使模型从“能续写”变为“愿且能按要求作答”。 - 深度知识讲解： ▪ 底层实现原理：SFT 本质是标准的序列到序列（seq2seq）或因果语言建模（causal LM）的有监督训练。输入为拼接格式如 “ {inst} {resp} ”，模型以自回归方式预测部分的 token。损失函数为交叉熵损失（Cross-Entropy Loss），仅在 response token 对应位置计算梯度（instruction 部分 mask 掉 loss），避免模型被误导去拟合指令本身。 ▪ 数据构造机制：高质量 SFT 数据需满足三性——多样性（覆盖问答、推理、写作、代码等任务）、真实性（响应符合事实与常识）、指令遵循性（response 严格响应 inst，不编造、不回避、不冗余）。主流构造方法包括：人工撰写（成本高但质量稳）、模型合成+人工校验（如 Self-Instruct：用强模型生成指令→筛选→生成响应→人工修正）、众包平台（如 Scale AI 标注）。 ▪ 参数更新细节：SFT 通常采用全参数微调（Full Fine-Tuning）或高效微调（PEFT）如 LoRA。LoRA 在 Transformer 的 Q/K/V/O 投影矩阵旁注入低秩适配器（A∈R^{r×d}, B∈R^{d×r}，r≪d），训练时冻结原始权重，仅更新 A/B，显著降低显存与存储开销。其前向过程为：W' = W + BA，其中 W 是原始权重，BA 是低秩增量。 ▪ 与预训练的本质区别：预训练目标是最大化 P(x_t | x_{<|start_header_id|>user<|end_header_id|>{inst}<|eot_id|>" \ f"<|start_header_id|>assistant<|end_header_id|>{resp}<|eot_id|>" # 构建 dataset，每个样本为 tokenized input_ids，attention_mask，labels # labels 中 instruction 部分设为 -100（忽略 loss），response 部分保留真实 token id def collate_fn(batch): texts = [format_sample(x["instruction"], x["response"]) for x in batch] encodings = tokenizer(texts, truncation=True, padding=True, max_length=2048) input_ids = torch.tensor(encodings["input_ids"]) labels = input_ids.clone() # mask instruction tokens: find positions before first "<|start_header_id|>assistant" for i, ids in enumerate(input_ids): assistant_pos = (ids == tokenizer.convert_tokens_to_ids("<|start_header_id|>assistant")).nonzero() if len(assistant_pos) > 0: start_resp = assistant_pos[0].item() + 5 # skip assistant header tokens (~5 tokens) labels[i, :start_resp] = -100 return {"input_ids": input_ids, "labels": labels, "attention_mask": torch.tensor(encodings["attention_mask"])} dataloader = DataLoader(dataset, batch_size=4, collate_fn=collate_fn) optimizer = AdamW(model.parameters(), lr=2e-5) for epoch in range(3): for batch in dataloader: outputs = model( input_ids=batch["input_ids"], labels=batch["labels"], attention_mask=batch["attention_mask"] ) loss = outputs.loss loss.backward() optimizer.step() optimizer.zero_grad() ``` - 扩展知识：SFT 并非孤立步骤。工业界实践常结合多阶段策略——例如先做 SFT，再用少量偏好数据做 DPO（跳过 RLHF 的 reward modeling 和 PPO 复杂性）；或采用“SFT + rejection sampling + PPO”三级流水线。此外，“领域 SFT”（Domain-SFT）已成为垂直场景落地标配，如医疗 SFT（使用 PubMedQA）、法律 SFT（使用 CaseLaw 数据集），其关键是领域术语嵌入一致性与专业逻辑保真度。值得注意的是，部分研究表明：当指令数据足够高质量且覆盖充分时，SFT 本身即可达到接近 RLHF 的对齐效果，凸显数据质量远胜于算法复杂度。

记录一下问到的大模型问题

全站热榜

创作者周榜