混元大模型算法-日常实习-一面

这大概是打工人最认可的标语了吧！创新驱动是前行的底气，合作共赢是成长的底气。新的一年，保持热爱，并肩前行新的一年，不想再被 “内卷” 和 “内耗” 绑架，只想在自己的岗位上，保持对工作的那点热爱，和身边靠谱的伙伴们并肩往前。毕竟，我们的底气从来不是来自标语，而是来自每一次解决问题后的成就感，来自和团队一起变好的踏实感。#一张图晒出你司的标语#

发点面经攒攒人品～1.项目拷打2.你如何评估大模型的性能？有哪些常用的评估指标？3.请描述一下你如何对大模型进行优化，以提高其性能和效率。4.你是否有过使用或开发大模型的经验？请分享一个具体的案例。5.大模型中的注意力机制是如何工作的？它在大模型中起到了什么作用？6.大模型中的优化算法有哪些常见的选择？它们各有什么优缺点？7.如何处理大模型训练过程中的梯度消失或梯度爆炸问题？8.在大模型设计中，如何权衡模型的复杂度和性能？9.面对大模型训练和推理所需的庞大计算资源，你有什么解决建议？10.请简述你了解的大模型的主要结构特点。11.reward bench上的reward model分哪几类?12. reward model如何训练的，训练目标是什么?13.dp0训练的损失函数和训练目标，dpo如何改进怎么理解大模型安全，包含哪些方面的内容？14.指令跟随能力的评估集有什么，如何评估的?15.阿尔法狗强化学习策略是什么?提升推理能力和指令跟随能力哪个更难, 为什么, 提升指令跟随能力的优化方式和其他的比如推理有什么不一样的地方?16.dpo训完了一般输出长度会变化吗? 如何解决这个问题大模型训练过程学习率一般是怎么变化的, 退火阶段学习率如何变化的?

第9章 面向对象之三大特性 9.1 封装 将变量和函数写入类中的操作即为封装，即类中封装了属性和方法。 通过封装，我们可以将一些细节隐藏起来（私有），只暴露出必要的接口供调用者使用。 9.1.1 私有化 有时为了限制属性和方法只能在类内访问，外部无法访问；或父类中某些属性和方法不希望被子类继承。可以将其私有化。 1）单下划线：非公开API 大多数 Python 代码都遵循这样一个约定：有一个前缀下划线的变量或方法应被视为非公开的 API，例如 _var1。这种约定不具有强制力。 2）双下划线：名称改写 有两个前缀下划线，并至多一个后缀下划线的标识符，例如 __x，会被改写为 _类名__x。只有...