百度日常实习多模态llm算法二面 1h

1. 大模型微调的完整技术方案与工程落地细节采用 LoRA 参数高效微调方案，仅对 Transformer 的 Q/V 投影层添加低秩矩阵，冻结底座模型参数。训练时设置秩 r=8、缩放因子 α=16，使用 AdamW 优化器，学习率 2e-4，配合余弦退火学习率调度与梯度裁剪。工程上使用混合精度训练、分布式数据并行，提升训练效率，训练后合并 LoRA 权重，不增加推理延迟。 import torch import torch.nn as nn class LoRALinear(nn.Module):def __init__(self, in_features, out_features, r=...

攒攒人品！有面试过同岗的朋友欢迎评论区交流项目：细节深入拷打八股：1. DPO和其他RLHF对比选型2. DPO论文，原理，过程推导3. dpo过程中正负样本同时被拉低 如何处理4. qwen系列模型的核心优势，架构创新点，迭代过程5. longcat介绍，了解程度手撕：lc46 全排列

研一开始时间比较多，准备多去几次实习。学习能力和强度应该不错的，期望工资17k-23k

春招一个月左右，没实习经历，只有两个springboot项目，一个纯系统，一个结合RAG和推荐算法，面了十家左右中厂，还有一些笔试大厂中厂，只有一个走到二面，结果是全挂了，浑浑噩噩痛哭流涕😭