Momenta大模型应用研发实习一面凉经

给我面没招了，感觉自己好菜1. 解释LoRA训练方法，以及低秩矩阵更新的原理和优势2. 有了解传统精排方法吗，比如LTR3. 有了解Qwen3的embedding和Reranker模型吗，结构和特点是什么4. 结合项目讲大模型训练的几个阶段的特点和异同5. 介绍GRPO、PPO、DPO，分别需要几个模型，需要训练的是哪些6. 重要性采样有哪些方法，比如裁剪、KL散度约束、加权归一7. 介绍GSPO的优化点，腾讯最近出的SPO系列算法有关注吗8. 大模型微调过程中，如何避免灾难性遗忘9. 模型蒸馏在大模型落地中的作用和常用方案代码部分1. PyTorch实现GQA（分组查询注意力）2. 接雨水，要求手写两种方法：暴力法和双指针3. 经典SQL题：分组统计、排序、条件筛选

进程内存飙升时你会用什么命令排查？先找高内存进程，再看内存构成，最后判断是否泄漏或缓存失控。常用命令：ps aux --sort=-%mem | headtop -p <pid> / htoppmap -x <pid>cat /proc/<pid>/status（看 VmRSS、VmSize）测试环境可用：valgrind --leak-check=full ./app你怎么查看 CPU 状态？从系统、核、进程三层判断是否 CPU 瓶颈或 IO wait 偏高。常用命令：uptime / topmpstat -P ALL 1pidstat -u 1vmsta...

继续来分享下之前的面经~欢迎友好讨论，信息共享1.介绍一下你的实习经历和主要工作内容。2.在微调大模型时，你使用过哪些框架？它们的优缺点分别是什么？3.CLIP 模型的 zero-shot 能力是如何实现的？它在多模态任务中的应用有哪些优势？4.Transformer 中 Pre-Norm 和 Post-Norm 的设计差异是什么？对模型训练稳定性和性能有何影响？5.在生成式大模型中，为何通常采用 Decoder-only 架构而非 Encoder-Decoder 结构？6.请描述大模型中自然语言理解模块的具体实现方案，包括语义解析和意图识别的关键技术。7.针对 Transformer 模型推理过程，你会采用哪些优化手段？8.请阐述RAG的核心原理，并说明如何通过 RAG 缓解大模型的幻觉问题。9.vLLM 框架的核心优化原理是什么？其在动态批处理和显存管理上有哪些创新设计？10.请对比 RLHF、PPO、DPO 算法的技术差异、优缺点及适用场景。

岗位名称：大语言模型算法面试时长：1h–1.5h自评分：8/10是否下一轮：是模型架构与基础原理目前主流大语言模型在架构设计上有哪些异同点？（追问）Decoder-only 和 Encoder-Decoder 在实际应用场景上有什么区别？介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？（追问）如果减少头数会发生什么？是否一定性能下降？什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？（追问）涌现能力是否和模型规模线性相关？什么是 Embedding？词嵌入和句嵌入有何不同？（追问）Embedding 层是否会参与微调？为什么？大语言模型中的 Tokenization 是如...