WXG 大模型算法 实习面经

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.STF的数据怎么合成2.lr scheduler策略怎么做3.查询重写容易把用户的意图具体化，从而回答不全面，怎么解决呢4.QLORA与LORA的区别5.34b模型推理时候的显存多大6.对比学习用的什么框架7.用的embedding模型的维度8.RAG检索的时候HNSW的原理

1. 写一下 attention 公式，代码实现一下attention 的公式是：计算过程就是三步：先算 (Q) 和 (K) 的相似度分数，再做缩放，然后过 softmax 得到权重，最后用这个权重对 (V) 加权求和。 import numpy as np def softmax(x): x = x - np.max(x, axis=-1, keepdims=True) exp_x = np.exp(x) return exp_x / np.sum(exp_x, axis=-1, keepdims=True) def attention(Q, K, V): dk = Q.shape[-1] ...

有面试过同岗的朋友欢迎评论区交流1.GRPO 和 PPO 在 RLHF 中的核心区别是什么？2.KL 散度在 RLHF 中的作用是什么？它的公式如何直观理解？3.vLLM 的核心优势是什么？它是如何通过 PagedAttention 提升显存利用率的？4.Qwen3 和DeepSeek-R1 在架构上有哪些关键差异？5.微调数据集的结构是怎样的？有多少条？数据清洗和有效性验证是怎么做的？6.奖励函数是如何设计的？7.怎么避免模型靠堆字数刷奖励？8. KV Cache 在长上下文推理中可能被污染，你们有做缓存隔离或清理机制吗？9.本地部署时，如何平衡vLLM 的上下文长度和显存占用？是否做过量化或动态批处理？10.手撕：乘积最大子数组（LeetCode 152）

1. xgboost 为什么叫梯度提升树因为它本质上就是：树：基学习器是 CART 回归树提升：一棵一棵往上加梯度：每一轮拟合的是损失函数对当前预测的负梯度普通提升树可以理解成拟合残差，XGBoost 是把“残差”推广成了更一般的梯度下降框架，而且用了二阶导信息，所以比传统 GBDT 更强。2. 知道什么概率模型？朴素贝叶斯，说一下贝叶斯的思想概率模型就是用概率分布描述数据和变量关系的模型，比如：朴素贝叶斯HMMCRFGMM贝叶斯网络贝叶斯思想就一句话：先验 + 数据 = 后验。公式：[P(A|B)=\frac{P(B|A)P(A)}{P(B)}]朴素贝叶斯做分类时，假设特征在给定类别下条件独...