校招面经理想多模态大模型算法一面

1.Lora 了解多少? lora 一定比 sft 快吗? 为什么快,哪一部分快?
2.反向传播如何更新梯度的,讲一下公式。
3.一个图片传进 vit,有多少 token? (逆天,差点忘了)然后如何和语言部分拼接。
4.GUI agent 长程规划差,你们如何解决的? 车载场景下有什么新 idea?
5.你的训练为什么分为两个阶段,rl 和 sft 有什么不同?多模态做 rl 优势是什么?强化哪一部分内容?
6.训了 image encoder 的部分吗?
7.qformer 和目前的对齐层有什么区别? 场景有哪些?Qformer 如何计算的,还有部分场景用 qformer 为什么?
8.diffusion 有了解过吗?loss 是什么?手推一下 kl 散度,生成统一理解下 token 流动说下
全部评论
理想问这么难嘛,我的天
点赞 回复 分享
发布于 02-28 17:10 江西

相关推荐

【一面】 1)介绍一个最能代表自己的项目2)项目里负责的边界是什么?哪些内容是亲手实现/验证的?3)电商领域预训练数据:低质过滤与去重会怎么做?用哪些简单指标快速判断数据质量?4) Pretrain 和 SFT 分别解决什么问题?5) Transformer 的基本结构怎么理解?6)多模态模型的大致结构是什么(图像编码器+连接层+ LLM )?最容易踩坑的点通常在哪里?7) SFT 数据如何更贴近业务:如何避免过度模板化?如何做基础的 train / test 去重来避免评测失真?8)对齐( RLHF / DPO 等)整体思路是什么:为什么需要偏好对/奖励信号?【二面】1)做过的最有影响力的一件事是什么?具体推动了什么变化?2)训练不稳定怎么排查( loss NaN 、 OOM 、吞吐下降)3) Long Context 常见思路有哪些?在业务里如何做"能看长文本但不太贵"的折中(摘要/分段/滑窗等)?4)如何做一套简单可执行的离线评测集?如何覆盖不同语言与类目?5)多模态场景怎么评估:如何检查"图文一致性/不编造信息"?优先加哪些自动化检查?6) Prompt /模板如何管理:如何版本化、如何回滚、如何避免一次改动导致整体波动?7) 手撕:实现一个最简单的 top - k 采样(给定 logits /概率,取 top - k 后重新归一化采样),并说明边界情况怎么处理。📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
点赞 评论 收藏
分享
评论
点赞
3
分享

创作者周榜

更多
正在热议
更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务