27届求推荐方向🙏

大二想找一个日常实习，简历有啥问题吗？😊

1、自我介绍2、通俗讲一下大模型从训练到落地到评测的全过程可以把大模型看成一个先大量学习、再针对任务训练、最后真正上岗工作的系统。第一步是预训练。这个阶段会给模型非常大量的文本，让它去做“根据前文预测下一个词”这样的任务。比如给它一句“今天天气很”，它要预测下一个字可能是“好”还是“热”。这个过程做得足够大以后，模型就会学到语言规律、常识知识、一些推理模式和表达能力。第二步是微调或者对齐。预训练出来的模型虽然懂很多东西，但不一定会按人的要求回答，所以还要进一步训练。比如给它大量“问题-答案”数据，让它学会更像助手一样回复，这就是 SFT。有些场景还会继续做人类偏好对齐，比如让模型学会什么回答更...

1.项目拷打2.Transformer的架构相关的问题哪个组件带来了模型的非线性？为什么除以根号d?Softmax的性质，正无穷/负无穷的时候呈现什么样的性质多头注意力的时间复杂度是？GQA的原理是啥？对哪些进行分组了解哪些位置编码?ROPE了解过吗移除掉FFN结构，会有什么问题？对于 rating 机制输出的结果是升维还是降维？3.机器学习/搜广推类3.1负样本比例可能超过 1: 1, 000，就是我曝光 1, 000 次，他可能只有一次购买，那针对这种正负样本不平衡的问题，你觉得可以从哪些方面去优化？3.2用什么指标去评估你的在线离线训练效果呢？是否点击的二分类场景3.3逻辑回归的模型，我如果给我的所有的模型初始化都是按 0 初始化的。你觉得会有问题吗？如果有会是什么问题3.4L1 正则和 L2 正则的区别是什么？3.5二分类的问题里面，为什么不使用 MSE loss 去训，而使用 CE loss 去训？>😥谢谢你，让我知道了我我一点也不会。我马上去学。再也不和🦞过多的聊天了😭

1、知道 GPT 和 BERT 这种模型的基础框架是怎样的吗BERT 和 GPT 都是基于 Transformer 的预训练模型，但结构和任务目标不一样。BERT 一般采用 Transformer Encoder 堆叠起来的双向编码结构，在预训练时主要做 MLM，也就是随机遮盖一部分 token，让模型根据上下文去恢复被遮掉的词，因此它更适合理解类任务，比如分类、匹配、抽取、检索表示学习。GPT 采用 Transformer Decoder 堆叠起来的单向自回归结构，在预训练时做 next token prediction，也就是根据前面的 token 预测下一个 token，因此它更适合生成...