米哈游llm算法实习面经 攒人品

给我面没招了,发点面经攒攒人品~
1* 项目拷打
2* 项目的数据来源是什么?你是如何确定优化目标的?
3* 比如数据从 100 条扩充到 1.2 万条,是否全通过自动化生成?生成的样本具体是什么样的?举个例子说明一下生成前后的对比
4* 怎么保证自动化生成数据的正确性呢
5* 在通过调整参数直到模型回答正确为止的过程中,是否意味着生成的CoT中存在错误逻辑?
6* 经过数据清洗后,最终用于SFT的有效数据量是多少?
7* 在做微调时,除了 LoRA 是否对比过其他的微调算法
8* 你是如何评价微调效果的?测试集的比例是多少?微调前后的准确率分别是多少?原有的模型性能保留了多少?
9* LLM常用的结构是什么?
10* 说一下Transformer 的整体结构
11* 目前主流大模型最常用的位置编码是什么?。
12* 写一下多头注意力机制的数学公式。
13* 公式中为什么要除以 \sqrt{d_k}?其对梯度消失或梯度爆炸有什么影响?
14* 在 Transformer 的 Encoder 和 Decoder 中,哪些部分是可以并行计算的,哪些不可以?
15* 除了 LoRA,你还了解哪些微调方法?
16* 大模型训练通常使用什么损失函数
17* 在机器学习基础中,二分类问题、多分类问题以及回归问题分别使用什么损失函数?
18* 你了解哪些优化算法
19* 模型训练中出现过拟合的常用解决方案有哪些?
全部评论
米哈游感觉面试难啊
点赞 回复 分享
发布于 昨天 14:35 四川
米哈游感觉面试难啊
点赞 回复 分享
发布于 03-13 23:31 北京

相关推荐

03-08 16:30
门头沟学院 Java
点赞 评论 收藏
分享
【一面】 1)介绍一个最能代表自己的项目2)项目里负责的边界是什么?哪些内容是亲手实现/验证的?3)电商领域预训练数据:低质过滤与去重会怎么做?用哪些简单指标快速判断数据质量?4) Pretrain 和 SFT 分别解决什么问题?5) Transformer 的基本结构怎么理解?6)多模态模型的大致结构是什么(图像编码器+连接层+ LLM )?最容易踩坑的点通常在哪里?7) SFT 数据如何更贴近业务:如何避免过度模板化?如何做基础的 train / test 去重来避免评测失真?8)对齐( RLHF / DPO 等)整体思路是什么:为什么需要偏好对/奖励信号?【二面】1)做过的最有影响力的一件事是什么?具体推动了什么变化?2)训练不稳定怎么排查( loss NaN 、 OOM 、吞吐下降)3) Long Context 常见思路有哪些?在业务里如何做"能看长文本但不太贵"的折中(摘要/分段/滑窗等)?4)如何做一套简单可执行的离线评测集?如何覆盖不同语言与类目?5)多模态场景怎么评估:如何检查"图文一致性/不编造信息"?优先加哪些自动化检查?6) Prompt /模板如何管理:如何版本化、如何回滚、如何避免一次改动导致整体波动?7) 手撕:实现一个最简单的 top - k 采样(给定 logits /概率,取 top - k 后重新归一化采样),并说明边界情况怎么处理。📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
点赞 评论 收藏
分享
评论
点赞
3
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务