1.问项目2.场景题+八股大模型幻觉问题怎么解决RAG模型的一些问题 怎么解决大模型微调用的什么框架？deepspeed的zero1 2 3llama的7b模型显存占用情况 参数量到显存占用如何换算？Lora的原理 为什么不在layernorm层也做lora？ embedding层能不能用lora？layernorm在训练和推理时有什么不同？3.问了一些个人的情况

1.问项目2.八股GPT和bert的区别GPT做文本理解的效果会比bert差吗？扩散模型 文生图 图生图图生图有几种不同的方式？CLIP是怎么训练的？CLIP的损失

1.问项目2.如果用大模型，怎么来解决项目的问题介绍一下大模型大模型的幻觉怎么解决推荐系统 推荐系统中的多任务框架了解吗有没有用过基础的机器学习模型/深度学习模型来解决实际问题

1.介绍项目2.场景题大模型微调的全过程大模型的多轮对话数据集怎么构建 怎么训练对话上下文太长了怎么办RAG技术 怎么存储的3.算法题两数之和mysql的查询题

1.问项目2.八股cross-attention的用法图生文 图生图 图生视频的一些模型3.无算法题可能是项目讲的比较久就没怎么问八股

1.问项目2.八股因为在项目里面涉及了多模态的工作，问的时候也问了一点关于多模态的八股CLIP的损失，图像和文本是怎么编码的？BLIP的损失transformer为什么要用layernorm QK为什么要除dkLora的原理llama和chatglm的区别

1.问项目2.八股transformer的结构相对位置编码 为什么要做相对位置编码？llama、chatglm的结构encoder-decoder和decoder的区别是什么？为什么大模型都用得是decoder？lora和ptuninglora调参 rank alpha lr3.算法题在给定网络代码的基础上加入相对位置编码最长公共子序列

1.问项目结合项目问八股cross-attentin是怎么做的？cross-attention的输入输出序列需要长度一致吗？样本不均衡的问题怎么解决？2.场景题搜索引擎中用户的query和数据库中的doc怎么做匹配如何优化匹配的过程？文本中的标题、关键字、正文的重要性不一样怎么处理？3.算法题字符串中相邻两个的和为10即可消去这两个相邻字符，问最后剩下的字符串

1.问项目项目的某个模块能不能用大模型来做？如果用大模型来做有什么优势？2.结合项目问一些八股lora和qlora的原理3.用两个骰子采样1-36的均匀分布=用两个rand(6)实现rand(36)

主管面核对了一些个人信息，问了一面二面的一些情况。做了一道二叉树寻找路径的题问了一些计算机、软件的基础知识如何根据具体业务选择模型？机器学习模型、 传统深度学习模型、大模型对实习有什么期望？

1.编程题arr[i]>2arr[i-1]，在arr中找出a,b使得a+b=k2.问项目3.八股roberta相对于bert的改进CLIP是怎么训练的？如何在有限的显存中放入更多的hard negetive样本？CoT怎么使用？Transformer的计算复杂度最高在哪个地方？

全程1h1.问项目2.八股transformer encoder和decoder的区别transformer encoder中的信息怎么用到decoder中RNN和transformer的区别讲讲对多头注意力的理解lora的原理大模型如何加速推理？如何压缩？模型蒸馏3.算法题二维数组查找二分查找左侧边界

1.问项目：项目用到的具体技术大模型微调中的优化大模型微调的技术原理（lora、ptuning）微调时如何调参2.算法题：顺时针打印矩阵全程55min

1.问项目2.八股：讲一下transformer为什么用layernorm讲一下bert了解哪些大模型大模型中attention的改进方式（MQA，GQA）3.代码：Leetcode不同路径II