联通大模型算法 26校招一面

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.LoRA时如何选择合适的参数？这些参数的选择如何影响模型的性能？2.LoRA优势？3.大模型如何通过人工指标来评估效果？有哪些常用的人工指标？4.Transformer的计算复杂度主要由哪些因素构成？各模块复杂度分别是多少？5.Transformer中哪个模块的计算量最大？如何优化Transformer中计算量最高的部分？6.为什么BGE通常表现得比BERT更好？有哪些独特之处？7.在大模型参数如何影响模型的学习和优化？8.在模型加速方面，Deepspeed的Zero-1, Zero-2, Zero-3分别有哪些区别?9.Transformer的自注意力中，KV-Cache的引入有什么作用？它如何帮助加速推理过程？

1、自我介绍2、通俗讲一下大模型从训练到落地到评测的全过程可以把大模型看成一个先大量学习、再针对任务训练、最后真正上岗工作的系统。第一步是预训练。这个阶段会给模型非常大量的文本，让它去做“根据前文预测下一个词”这样的任务。比如给它一句“今天天气很”，它要预测下一个字可能是“好”还是“热”。这个过程做得足够大以后，模型就会学到语言规律、常识知识、一些推理模式和表达能力。第二步是微调或者对齐。预训练出来的模型虽然懂很多东西，但不一定会按人的要求回答，所以还要进一步训练。比如给它大量“问题-答案”数据，让它学会更像助手一样回复，这就是 SFT。有些场景还会继续做人类偏好对齐，比如让模型学会什么回答更...

求各位牛爷爷指点