字节大模型日常实习一面面经

整体感觉还是不错的,发一下问题供大家参考~
八股吟唱:
1、Pretrain、SFT、RLHF区别(目标、任务定位和解决的问题?)
2、为什么偏好对齐不能直接用偏好数据做 SFT,而用RL
3、Pretrain和 SFT 在优化目标上的区别
4、SFT的loss是什么,若target有10或100个token,loss如何计算
5、SFT 样本(含 prompt)与预训练样本在计算 Loss 时的区别,如何屏蔽prompt的Loss
6、控制生成多样性的参数有哪些?怎么控制的?
7、top-k与top-p 区别
8、除了贪心,还有哪些生成策略?
9、你对多模态的理解?
10、最近读了什么论文?论文的核心亮点是什么?
11、PPO和GRPO的结构区别,各自适用的场景?
12、DAPO、GSPO具体做了什么改进?
13、是否了解 Swift?DeepSpeed 与 Megatron 的区别

手撕算法:
交叉熵、Softmax、Self-Attention
力扣139题 Word Break变种
全部评论

相关推荐

02-12 20:22
重庆大学 Java
字节暑期刚入职四天,因为是年前,所以很多正职都放假走了,也就没有给我分配mt,然后有一个老哥在我来的时候给我发了一个landing手册,然后还有关于部门业务的白皮书,还有一些业务代码。然后本人是java面的,进来第一次接触go语言 前面几天熟悉了一下go的语法和go的框架,可以读但是还不太会写,然后业务白皮书也看的很头疼,包括landing手册里要了解的很多东西说实话我看文档真的快看死了,一个嵌套一个,问题是我还完全不知道咋用这个我了解的东西,还有就是那个项目代码,那个老哥喊我去写写单测,熟悉一下go的语法,但也进行的很困难(这是我第一段实习,之前都是springboot那一套,真不太熟悉这个)想问问大家的建议,就是我从现在开始到在开年回来之前应该做些什么,我目前就一个想法 就是复现一个landing手册上的go框架小项目 就是相当于帮自己锻炼锻炼怎么写go 或者各位大佬有没有更好的锻炼go语法的建议还有就是大家都在说vibe coding,那我应该怎么锻炼自己使用ai的能力,感觉我除了给一些需求然后它给我生成代码,好像就没别的用法了,那些什么工作流、拆解、skill啥的都不知道从哪一个地方开始,包括我现在正在实习,不知道精力该怎么分配,去网上想找找关于agent开发的一些学习流程,说实话,众说纷纭,有的是从python开始打基础然后系统学那些rag prompt langchain mcp等等,有的是说直接找一个github上的ai项目然后反复问ai,我确实有点迷茫,恳求各位大佬能留下你们宝贵的建议,我一定认真反复深刻学习有一说一 我觉得字节饭挺好吃的!
双非后端失败第N人:1. go语言我建议你让ai带着你先把基本语法速通了,然后再去用go重新刷你以前刷过的leetcode,这样熟悉起来很快 2. 直接看你们组go项目,里面用***比较复杂,然后把每一个语法现象都喂给ai,一点点看
字节跳动公司福利 1371人发布
点赞 评论 收藏
分享
评论
1
3
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务