27实习阿里云llm算法一面面经分享

1. 自我介绍2. 介绍你做的模型loss设计，包含基础损失与辅助损失，说明各部分作用与梯度流动逻辑模型loss采用多任务联合优化框架，主损失负责核心任务拟合，辅助损失用于约束特征对齐、分布对齐与梯度稳定。以多模态分类模型为例，主损失使用交叉熵损失，直接优化分类准确率；辅助损失包含对比损失用于拉近同类特征距离、拉远异类特征，以及KL散度损失用于对齐教师模型与学生模型的分布。训练时通过权重系数平衡各损失，保证主任务不被辅助任务淹没，同时利用梯度裁剪解决多任务梯度冲突问题。 import torch import torch.nn as nn class MultiModalLoss(nn.Mod...

面试很难，还是要多多练习AI coding笔试（30min一些八股：1.Attention的QKV怎么计算，WQ/WK/WV的形状2.MOE的路由机制，稀疏vs稠密3.KV Cache在prefill和decoding阶段的读写差异4.大模型幻觉怎么规避5.微调后出现复读机怎么排查6.SFT够用 vs 必须上DPO/RL怎么判断7.DPO损失函数的潜在问题8.KL散度在模型对齐里的作用9.接着问了google的TurboQuant kv cache10.项目深挖11.灾难性遗忘怎么解决等问题

25级研一在读，211本硕，没有天赋，发不出好论文，也不想读博，之前想着走java后端，现在看感觉java后端也要完蛋了，现在想转agent开发，实习大概率只能在研二下的暑期实习，有没有佬指条明路。

让个月靠近月底的时候入职，现在手里快没米了plz来个帅哥美女讲讲发工资的事吧😭