昆仑天工大模型实习一面面经

第一次面大模型的面试, 八股真的是背了也忘, 汗流浃背。

1. 自我介绍
2. LLAMA 的结构有什么特点?(第一个就汗流浃背, 不知道从哪方面入手说。 我是说 casual lm 的 mask,only decoder, 说 pre layer norm, 说激活函数也不是 relu)
2.由上引发的题, 讲一下 LLAMA 的 layer norm, 我忘记 llama 是 pre rms norm 了,一直没说出来。面试官就想问这个。
3. 讲一下 LLAMA 的激活函数吧。 汗流浃背,就知道是 swiGLU。 我就说那个 swish 函数为头的门控线型单元吧啦吧啦的,说的结结巴巴。公式也没记住。
4. 详细介绍一下 Transformer 的结构。(在 encoder 输入给 decoder 的 K V 我说成了 Q V,然后就说我也记不清是 K 还是 Q 了。。。)
5. 为什么计算注意力 QK 分数要除以维度开根号?为什么不能直接除以维度?(就瞎扯容易数据太小, 收敛太慢巴拉巴拉。。。)
6.讲一下你对  位置嵌入的了解。(绝对位置相对位置一顿输出)
7. 说一下你知道的 tokenizer 的分词办法。(详细说了 bpe, wordpiece 和 unigram 都记不得了,连这两个名词我都说不清)

算法题一个, 岛屿数量。
全部评论
准备了多久大模型呀哈哈哈
点赞 回复 分享
发布于 2024-08-16 19:41 上海
佬,大模型八股在哪里找啊
点赞 回复 分享
发布于 2024-04-11 13:07 北京
m
点赞 回复 分享
发布于 2024-03-25 17:02 陕西
大佬,大模型的八股在哪儿能找到
点赞 回复 分享
发布于 2024-03-19 22:38 浙江

相关推荐

湫湫湫不会java:先投着吧,大概率找不到实习,没实习的时候再加个项目,然后把个人评价和荣誉奖项删了,赶紧成为八股战神吧,没实习没学历,秋招机会估计不多,把握机会。或者说秋招时间去冲实习,春招冲offer,但是压力会比较大
点赞 评论 收藏
分享
07-22 11:53
门头沟学院 Java
终于有一个保底的offer了,但感觉是白菜价
北凝a:我想问问,提前批的offer 有问你啥时候到岗吗,如果你还想找其他的怎么办
点赞 评论 收藏
分享
评论
5
40
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务