2025-03-29 15:14 哈尔滨工业大学 产品经理 发布于北京
关注
面试官：大模型微调的目的和作用？
微调（Fine-tuning）是机器学习中一种迁移学习技术，指在预训练模型（如BERT、GPT、ResNet等）的基础上，通过少量特定领域或任务的数据进一步调整模型参数，使其适应新任务。其核心思想是利用预训练模型的通用知识（如语言理解或图像特征提取能力），通过针对性训练提升模型在特定任务上的性能。
微调的核心作用
1. 节省资源：无需从头训练，减少计算成本。
2. 提升性能：预训练模型已学习通用特征，微调能快速适应新任务。
3. 小数据友好：适合数据量有限的任务。
微调的主要方式
1. 全参数微调（Full Fine-tuning）
- 方法：解冻预训练模型的所有参数，用新数据更新全部权重。
- 适用场景：数据量充足，任务与预训练任务差异较大。
- 缺点：计算成本高，可能过拟合小数据集。
2. 部分参数微调（Partial Fine-tuning）
- 方法：冻结部分层（如底层），仅更新顶层参数。
- 冻结策略：预训练模型的底层通常学习通用特征（如语法、低级视觉特征），可冻结；顶层更接近任务，需调整。
- 适用场景：数据量较少，任务与预训练任务相似。
- 示例：冻结ResNet的前几层，仅微调最后几层用于医学图像分类。
#产品经理# #牛客激励计划# #数据人的面试交流地# #聊聊我眼中的AI# #面试时最害怕被问到的问题# #牛客AI配图神器#
微调的核心作用
1. 节省资源：无需从头训练，减少计算成本。
2. 提升性能：预训练模型已学习通用特征，微调能快速适应新任务。
3. 小数据友好：适合数据量有限的任务。
微调的主要方式
1. 全参数微调（Full Fine-tuning）
- 方法：解冻预训练模型的所有参数，用新数据更新全部权重。
- 适用场景：数据量充足，任务与预训练任务差异较大。
- 缺点：计算成本高，可能过拟合小数据集。
2. 部分参数微调（Partial Fine-tuning）
- 方法：冻结部分层（如底层），仅更新顶层参数。
- 冻结策略：预训练模型的底层通常学习通用特征（如语法、低级视觉特征），可冻结；顶层更接近任务，需调整。
- 适用场景：数据量较少，任务与预训练任务相似。
- 示例：冻结ResNet的前几层，仅微调最后几层用于医学图像分类。
#产品经理# #牛客激励计划# #数据人的面试交流地# #聊聊我眼中的AI# #面试时最害怕被问到的问题# #牛客AI配图神器#
全部评论
相关推荐
不愿透露姓名的神秘牛友
05-13 14:16
战争学院：你妈妈第一反应是骗子，我妈妈第一反应是培训贷，全国家长系统是统一的吗哈哈哈 点赞 评论 收藏
分享
南宫搵：我25届的，双非学院本，一路走来只有实习是一家大厂，毕业去了一家超级小的小厂工作了一年(领导超级好)！但是因为离家特别远跳槽去了深圳一家小公司被狠狠地社会教育了，然后又开始找工作，最后找到了百度！我现在越来越相信一切就是最好的安排了！ 点赞 评论 收藏
分享