腾讯大模型算法面试分享

发一下问题给大家参考,攒攒人品!
1.实习拷打
2.项目拷打
3.在模型选择方面我已经了解了。总体来说,这是一个纯文本任务。虽然有图表参与其中,但你的整体评估体系是“规则打分 + 模型打分”混在一起用的进行混合评估的,也就是打分加加权。最终得分的这个逻辑吗?还是说是一个准确率的一个逻辑
4.那接下来我觉得是你们这边来进行评测的,主要是通过一些固定规则,或者说通过RUBASE,或者是code coding的评分器吧,它是一个没有大模型参与打分的机制,可以这么理解吧,它是一个固定的评测器。那我这边的还有一个问题,对,然后你这边是说你在收集云和千问的SSD以及DPo数据。o那么您能否介绍一下,您是如何分别通过千问来处理SFT和DPO数据的
5.你提到是规则和模型混合评估,那具体每一部分是怎么分工的?哪些是规则,哪些是模型?
6.收集 Claude 和 Qwen 的 SFT 和 DPO 数据,具体是怎么构造这些数据的
7.在大量模型生成数据中,如何筛选出用于训练的数据?
8.SFT 和 DPO 数据在构造过程中,分别的筛选标准是什么?
全部评论
强烈推荐!这个笔记写得很清晰 http://github.com/AccumulateMore/CV
1 回复 分享
发布于 昨天 09:24 广东

相关推荐

985柜员:开发还敢还叫,全部让自测就老实了
点赞 评论 收藏
分享
给我面没招了,感觉自己好菜、面试很难,还是要多多练习1.项目拷打2.你的知识库数据是如何清洗和构造的?如果数据质量参差不齐会对 RAG 系统产生哪些影响?3.文档切分策略是如何设计的?chunk size 和 overlap 会如何影响召回质量和生成效果?4.如果用户的问题在知识库中确实存在,但系统经常没有召回正确文档,你会如何排查?5.如果检索到的文档是正确的,但模型最终生成的答案仍然是错误的,你会如何定位问题?6.实际系统中,如果召回结果经常语义相似但事实不相关,你会如何优化检索模块?7.如果一个问题需要跨多个文档的信息才能回答,你的 RAG 系统如何处理这种情况?8.在 RAG 系统中如何判断问题出在检索模块还是生成模块?9.请详细说明 Transformer 从输入 token 到输出 logits 的完整计算流程。10.FFN 层为什么采用“先升维再降维”的结构,这种设计对模型表达能力有什么作用?11.MHA、MQA、GQA 在推理阶段的 KV Cache 占用和计算效率上有什么差异?12.为什么推理阶段 KV Cache 只缓存 K 和 V,而不缓存 Q?13.RoPE 的核心原理是什么,它在长上下文场景下会遇到什么问题?14.instruction tuning 中多轮对话数据训练时,loss mask 应该如何设计?15.如果 SFT 之后模型在特定任务上能力增强,但通用能力明显下降,你会如何解决?16.LoRA 的低秩分解为什么能够逼近全参数微调的效果?17.如果 LoRA 的 rank 设置不合理,在模型表现上会出现什么现象?18.DPO 训练后模型输出明显变长,在实际系统中你会如何处理?19.如果对齐之后模型变得过于保守,经常拒绝回答,你会如何调整训练策略?20.大模型出现复读机现象通常由哪些因素导致?
点赞 评论 收藏
分享
评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务