现在卷度27无论文还能allin大模型/大模型应用吗

面试官介绍公司主要产品自我介绍java和go哪个更熟悉对自己后续的职业规划是怎么考虑的挑一个在实习过程做的比较出彩的成就，你的职责，遇到的考验模型的记忆可能会越来越来多，怎么做的限制吗每次的聊天消息都需要存储？怎么限制的成本遇到的最难的考验是什么？go语言中三个协程A, B, C,如何实现顺序打印a，b，cjava中创建线程池的方法java里面的数据结构哪些是线程安全的，哪些是线程不安全的java中synchronize实现原理，锁升级过程SpringBoot中核心注解SpringBootApplication实现了什么团队协作工具用过哪些？git的常用命令用过哪些？反问：目前只有go语言，常...

一面（1.5h）1．自我介绍，过实习，讲论文，根据表述实时跟进询问交流2．讲一下大模型训练和推理的流程， SFT 和 RLHF 的作用分别是什么3．为什么探索 MoE 架构， MoE 相比 Dense 有什么好处4．有没有全量微调过5．推导一下神经网络反向传播的过程6．在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式7．一道排列组合的概率题8．平常有用过 RLHF 吗，简单介绍一下9. 开放题：对目前大模型的发展有什么看法10.代码：多头自注意力二面（1h）1．自我介绍，过实习和论文2．知道哪些强化学习算法，除了 PPO和 DPO 这些呢3. 知道 LoRA 的原理吗， A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗4．除了 DeepSpeed ，还用过其他的什么优化方法吗5．ZeRO -1, ZeRO -2,ZeRO -3三个模式的区别6．讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗7．当时你用 DeepSpeed ZeRO -3来微调Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存8. 在微调 Qwen 的时候，数据是怎么构造的9.代码：无重复字符的最长子串📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？...

难绷。某大厂怎么实习生都要裁了。。。