1.实习介绍2.介绍transformer架构3.transformer架构为什么要切分为多头？4.讲一下attention的具体计算步骤5.计算attention的softmax之前为什么要除根号d_k6.介绍一下transformer位置编码；还了解别的位置编码吗？7.如果在transformer中，把K去掉，变成Q*Q*V，这样会有什么问题吗？假如不考虑解码器，只考虑编码器内部的attention操作的话，这样会有什么问题？8.transformer是encoder-decoder架构，而GPT是decoder-only架构，为什么会演变成这样一种形式？为什么把encoder给舍弃掉了？9.为什么像GPT这种生成式任务，不同时利用encoder-decoder？10.transformer的FFN层为什么会逐渐演变成MOE层？11.moe层的负载均衡具体是怎么做的？偏置项b是怎么训练的？你怎么保证有一个机制让偏置项得到变换？照理来说，偏置项b应该放到损失函数中，这应该怎么设计？12.做agent有哪些框架？13.做agent的开发范式有哪些？14.lora微调的核心原理是什么？15.大模型幻觉了解吗，怎么缓解大模型幻觉？16.手撕，最长递增子序列

1.实习介绍2.论文工作介绍3.为什么构建这个benchmark4.构建数据集的时候遇到哪些问题，怎么解决5.选择这个微调模型的原因6.mplug的框架7.视觉编码器用的什么8.线性投影层具体情况9.qwen2的结构10.transformer的计算11.了不了解其他的transformer或者attention12.用了多少卡13.怎么做的分布式训练14.zero3不适合训练使用的原因15.介绍论文的多阶段CoT微调16.lora的原理17.lora的初始化18.矩阵B 为什么用0初始化19.手撕：一个字符串中出现次数最多的字符以及次数20.反问的时候还问了强化学习的原理

朋友们好，本人是双9本硕，但是非科班出身，目前想要找一段实习，想试试有没有机会去大厂，因为已经有一段小厂的实习了。想找的岗位是大模型算法，leetcode刷了百分之七十，把除了困难的大多刷掉了，不知道有没有机会求各位狠狠拷打，谢谢大家求求了，给大家磕一个🥹

1. 这个岗位是抖音电商岗位，在data部门，主要是做山寨商标识别的，可能需要用到多模态模型对山寨logo识别，或用到AIGC模型生成一些山寨logo2. 介绍完自我介绍，就是一道力扣困难题，求两个有序数组中位数，要求时间复杂度log(m+n)，可能需要二分法，但之前看力扣答案还看不明白，再写下去属实是浪费时间3. 项目深挖，主要是问我textual Inverion和Lora的作用，没有问我的论文4. 八股：Lora实现细节，PPO实现细节，是否知道大语言模型常用的旋转位置编码，是否了解deepseek的GRPO，你对多模态模型了解多少5. 思维题：如果你和一个人比赛但是你的胜率较低，你是选择五局三胜还是三局两胜获胜的概率大？答案应该是三局两胜，我跟面试官说可以建一个二叉树用回溯法求全概率然后比较。但是他让我用直觉判断，果然我的直觉是不准的，选了五局三胜。6. 开放题：如果让你去生成一些山寨logo，该怎么做。我回答的是首选图像编辑模型，在原有logo的基础上通过语言进行额外控制，可以最大限度保留原logo特征；因为logo的颜色较为单一，可以考虑用controlnet➕线稿修改的方式生成。线稿修改可以人工提供一些样本，成本相较于直接人工绘制山寨logo较低。