腾讯-26校招-大模型算法二面 1h

面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

上周四oc，到现在还没动静，许愿许愿许愿offer审批通过！！！！

发一下问题给大家参考，攒攒人品！1.实习拷打2.项目拷打3.在模型选择方面我已经了解了。总体来说，这是一个纯文本任务。虽然有图表参与其中，但你的整体评估体系是“规则打分 + 模型打分”混在一起用的进行混合评估的，也就是打分加加权。最终得分的这个逻辑吗？还是说是一个准确率的一个逻辑4.那接下来我觉得是你们这边来进行评测的，主要是通过一些固定规则，或者说通过RUBASE，或者是code coding的评分器吧，它是一个没有大模型参与打分的机制，可以这么理解吧，它是一个固定的评测器。那我这边的还有一个问题，对，然后你这边是说你在收集云和千问的SSD以及DPo数据。o那么您能否介绍一下，您是如何分别通过千问来处理SFT和DPO数据的5.你提到是规则和模型混合评估，那具体每一部分是怎么分工的？哪些是规则，哪些是模型？6.收集 Claude 和 Qwen 的 SFT 和 DPO 数据，具体是怎么构造这些数据的7.在大量模型生成数据中，如何筛选出用于训练的数据？8.SFT 和 DPO 数据在构造过程中，分别的筛选标准是什么？