夸克大模型算法面经

timeline：9.30 一面，2小时后通知通过10.10 二面，第二天通知通过10.21 三面，2小时后通过10.22 hr面，电话十分钟问了下offer情况，然后走offer审批10.27 收到意向一面1. 算法题： 1. 312. 戳气球 2. 多头自注意力2. 八股： 1. transformer为什么要除以根号dk 2. pre norm和post norm分别适用于哪些场景？3. 实习相关 1. 为什么不用tranformer decoder做序列生成 2. 用户侧和广告侧用到了哪些特征？ 3. 如果考虑用户历史行为序列，如何加入做特征交叉 4. 如何做可导sample 5. 两...

1.你这个xx实习的项目能展开讲讲吗？你主要负责哪块？为什么是你来做这块？2.自动化评估体系这里能具体说说怎么评的吗？哪些维度3. 多维度自动化评估体系，那每一个维度是怎么做的？比如你说的关键词匹配和问答对，这个流程怎么构建的4.图表的准确性你怎么评估的？怎么从markdown和HTML 里提取对应图表并比对的？有没有一些异常case举个例子？5.用了playwright去截图，那遇到报错或者渲染失败怎么办6不同设备模块比如交换机、服务器，它们的字段特征都不一样，那你怎么做统一化训练7.那你这个知识图谱底层是用什么数据结构存的8.用的是PAI吗？那有没有对比过比如说 igraph或者图数据库像GraphScope这些之间有啥区别9有没有用过一些大模型的推理？比如说用千问做辅助根因预测10你们这套系统的准确率和召回率大概是多少，那比如说没有到90%，你们是认为这个指标是OK的吗11所以它是系统推理出根因之后还需要人工check，然后才能执行故障预案，有没有哪一部分流程是完全自动化的12你们平台现在接的主要是底层设备指标，那有没有接入一些业务指标，比如订单失败率转化率这类的业务数据13我有个疑问就接入业务指标的话你需要知道整个平台的服务拓扑，那你们这个平台是怎么接入业务侧拓扑的？是自己做的吗？还是中台团队负责15.那你既然用过图数据库，你知道它底层的存储结构是怎样的吗？比如它是怎么组织边和节点的16.我们现在是两阶段推荐架构：第一阶段召回用的是embedding点积召回，第二阶段是MLP跟transformer做多目标打分。那你觉得在我们这么大规模的数据量下，如果要做real-time re-ranking，你会在架构上怎么做trade-off？怎么压低latency17.我们现在在做embedding精度提升也试过加cross tower、attention pooling 甚至meta learning，但发现一旦模型重了，就难以部署到线上实时系统。那你觉得在embedding learning的这个模块里，有哪些方案能在不严重影响线上性能的情况下提升语义表示能力18.我们现在二阶段模型训练的是watchtime、like、share、follow这些目标。但有些目标（比如 share、follow）非常稀疏，有的时候一个batch里面都没有。你要设计一个loss来处理这类多目标问题，既保证主目标收敛，又不能让稀疏目标完全失效，你会怎么设计

1.自我介绍 2. Lora 原理（核心是低秩分解：将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效） 3.了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化 （1 优化优化器状态，2 优化梯度，3 切分参数，全面节省显存） 4. Qwen的模型结构是怎么样的，相比于 LLaMA, DeepSeek 有什么区别（Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好；DeepSeek只用MoE/ MLA架构，Qwen系列主要是Dense模型） 5.怎么缓解...

9本后端，项目一个图库一个点评，找了一个多月一个offer没有，大厂基本简历挂，想问问要不要学学微服务相关的，我看好多招聘都要求微服务经验，实习怎么这么难找啊😨😨😨