腾讯大模型算法实习一面 狠狠拷打

给我面没招了,感觉自己好菜
1. 解释LoRA训练方法,以及低秩矩阵更新的原理和优势
2. 有了解传统精排方法吗,比如LTR
3. 有了解Qwen3的embedding和Reranker模型吗,结构和特点是什么
4. 结合项目讲大模型训练的几个阶段的特点和异同
5. 介绍GRPO、PPO、DPO,分别需要几个模型,需要训练的是哪些
6. 重要性采样有哪些方法,比如裁剪、KL散度约束、加权归一
7. 介绍GSPO的优化点,腾讯最近出的SPO系列算法有关注吗
8. 大模型微调过程中,如何避免灾难性遗忘
9. 模型蒸馏在大模型落地中的作用和常用方案
代码部分
1. PyTorch实现GQA(分组查询注意力)
2. 接雨水,要求手写两种方法:暴力法和双指针
3. 经典SQL题:分组统计、排序、条件筛选
全部评论

相关推荐

继续来分享下之前的面经~欢迎友好讨论,信息共享1.什么是大语言模型的涌现能力?目前对该现象的研究有哪些发现?2.什么是 Embedding?词嵌入和句嵌入有何不同?3.大语言模型中的 Tokenization 是如何工作的?不同模型的分词算法有何差异?4.简述大语言模型中的 Prompt Engineering 技巧,如何设计有效的提示词提升模型输出质量?5.对比 Zero-Shot、Few-Shot 和 In-Context Learning,它们在大语言模型中的应用场景和局限性分别是什么?6.什么是 LoRA?它在大语言模型微调中的优势和原理是什么?7.大语言模型的 RLHF 训练流程是什么?它存在哪些潜在风险?8.介绍一下大语言模型中的知识蒸馏,它如何用于压缩模型体积?9.DeepSeek 优化了哪些?为什么不用 PPO,而是用 GRPO?10.对比大语言模型的增量推理和传统推理方式,增量推理的优势和实现难点是什么?11.大语言模型在推理时出现幻觉现象的原因是什么?有哪些缓解方法?12.大语言模型的长文本处理能力有限,目前有哪些技术可以缓解这一问题?13.什么是大语言模型的上下文窗口?扩展上下文窗口对模型性能有何影响?14.目前多模态大语言模型是如何融合文本与图像信息的?15.如何评估大语言模型的性能?常见的评测指标和基准数据集有哪些?16.单个 LLM 能否帮助用户完成完整行程规划,比如从出行到酒店都订好票?
点赞 评论 收藏
分享
评论
1
3
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务