10-12 16:30 门头沟学院 推荐算法
关注
淘天大模型面经
1. 介绍自己的项目
2. LLaMA和GLM的区别，模型架构等方面
3. BLEU和ROUGE
4. 数据量和这个效果之间的关系是什么样的
5. LLM的参数介绍（temp topk top p等）
6. 长度过长怎么处理，从是否fix原有模型回答。（BPE 扩展词表，分阶段generate）以及从input直接回答
7. PEFT的方式
8. data construction的tricks
6. 淘天客服部门
1. LLM generate 参数问题
2. slef-attention得根号d
3. LLM的评估
4. 介绍下simCSE
5. 解决tokens不够的问题应该怎么办
6. 详细介绍下deepspeed（三个stage结合参数回答）
7. gpt和llama的区别（模型结构上的）
8. LORA论文讲一下，对比p-tuning
9. LLM训练的时候为什么warmup
pretrain数据量大，前面的数据量占比小，可能带来bias
参数量大，初始化的时候w是随机的，防止爆炸
10. 对比学习中的batch size是大一些好还是小一些好->大一些，甚至可以到10k+，为了构造好的negative样本
11. coding：
给你一个数组，返回其中的前k个出现频率最高的元素，假设数组特别大，k很小
2. LLaMA和GLM的区别，模型架构等方面
3. BLEU和ROUGE
4. 数据量和这个效果之间的关系是什么样的
5. LLM的参数介绍（temp topk top p等）
6. 长度过长怎么处理，从是否fix原有模型回答。（BPE 扩展词表，分阶段generate）以及从input直接回答
7. PEFT的方式
8. data construction的tricks
6. 淘天客服部门
1. LLM generate 参数问题
2. slef-attention得根号d
3. LLM的评估
4. 介绍下simCSE
5. 解决tokens不够的问题应该怎么办
6. 详细介绍下deepspeed（三个stage结合参数回答）
7. gpt和llama的区别（模型结构上的）
8. LORA论文讲一下，对比p-tuning
9. LLM训练的时候为什么warmup
pretrain数据量大，前面的数据量占比小，可能带来bias
参数量大，初始化的时候w是随机的，防止爆炸
10. 对比学习中的batch size是大一些好还是小一些好->大一些，甚至可以到10k+，为了构造好的negative样本
11. coding：
给你一个数组，返回其中的前k个出现频率最高的元素，假设数组特别大，k很小
全部评论
相关推荐
查看23道真题和解析
投递淘天集团等公司6个岗位 点赞 评论 收藏
分享
