昆仑天工大模型实习一面面经

第一次面大模型的面试, 八股真的是背了也忘, 汗流浃背。

1. 自我介绍
2. LLAMA 的结构有什么特点?(第一个就汗流浃背, 不知道从哪方面入手说。 我是说 casual lm 的 mask,only decoder, 说 pre layer norm, 说激活函数也不是 relu)
2.由上引发的题, 讲一下 LLAMA 的 layer norm, 我忘记 llama 是 pre rms norm 了,一直没说出来。面试官就想问这个。
3. 讲一下 LLAMA 的激活函数吧。 汗流浃背,就知道是 swiGLU。 我就说那个 swish 函数为头的门控线型单元吧啦吧啦的,说的结结巴巴。公式也没记住。
4. 详细介绍一下 Transformer 的结构。(在 encoder 输入给 decoder 的 K V 我说成了 Q V,然后就说我也记不清是 K 还是 Q 了。。。)
5. 为什么计算注意力 QK 分数要除以维度开根号?为什么不能直接除以维度?(就瞎扯容易数据太小, 收敛太慢巴拉巴拉。。。)
6.讲一下你对  位置嵌入的了解。(绝对位置相对位置一顿输出)
7. 说一下你知道的 tokenizer 的分词办法。(详细说了 bpe, wordpiece 和 unigram 都记不得了,连这两个名词我都说不清)

算法题一个, 岛屿数量。
全部评论
准备了多久大模型呀哈哈哈
点赞 回复 分享
发布于 2024-08-16 19:41 上海
佬,大模型八股在哪里找啊
点赞 回复 分享
发布于 2024-04-11 13:07 北京
m
点赞 回复 分享
发布于 2024-03-25 17:02 陕西
大佬,大模型的八股在哪儿能找到
点赞 回复 分享
发布于 2024-03-19 22:38 浙江

相关推荐

给我发了笔试链接,想着等晚上回去做,结果还没做流程就终止了
伟大的小黄鸭在学习:我猜就是笔试几乎没用,就是用来给用人部门拖时间复筛简历的,可能用人部门筛到你简历觉得不合适就提前挂了
投递小鹏汽车等公司10个岗位
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
06-21 11:33
昨天是学校最后一场招聘会,鼠鼠去参加了,全场只有一个招聘java的岗位,上来先做一份笔试题,做完后他拿张纸对答案,然后开始问简历上的问题,深圳小厂,6-8k(题目如下),后面还有两轮面试。然后我就在招聘现场逛呀逛,看到有公司招聘电商运营,给的比上年的小厂还多,鼠鼠就去了解了下,然后hr跟鼠鼠要了份简历,虽然我的简历上面全是求职Java开发相关的内容,但是hr还是鼓励我说没关系,她帮我把简历给老板看看,下周一会给我通知。招聘会结束后鼠鼠想了一段时间,也和朋友聊了聊,发现我可能是不太适合这个方向,然后就跟爸爸说回家了给我发条微信,我有些话想跟他说说。晚上爸爸到家了,跟我发了条微信,我立马跑出图书馆跟他打起了电话,这个通话长达一个小时,主要是跟爸爸坦白说我不想找这行了,是你的儿子太没用了,想试试其他行业。然后爸爸也跟我说了很多,说他从来没有希望我毕业后就赚大钱的想法,找不到就回家去,回家了再慢慢找,实在找不到就跟他干(帮别人装修房子,个体户),他也知道工作不好找,让我不要那么焦虑,然后就是聊一些家常琐事。对于后面的求职者呢我有点建议想提一下,就是如果招实习的时间或者秋招开始,而你的简历又很差的情况下,不要说等做好项目填充完简历之后再投,那样就太晚了,建议先把熟悉的项目写上简历,然后边投边面边完善,求职是一个人进步的过程,本来就比别人慢,等到一切都准备好后再投岂不是黄花菜都凉了。时间够的话还是建议敲一遍代码,因为那样能让你加深一下对项目的理解,上面那些说法只是针对时间不够的情况。当然,这些建议可能没啥用,因为我只是一个loser,这些全是建立在我理想的情况下,有没有用还需其他人现身说法。上篇帖子没想到学校被人认了出来,为了不丢脸只能匿名处理了。
KPLACE:找研发类或技术类,主要还是要1.多投 2.多做准备,很多方面都要做准备 3.要有心理准备,投累了就休息一两天,再继续,要相信自己能找到
投递58到家等公司10个岗位
点赞 评论 收藏
分享
评论
5
40
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务