大模型实习面经-腾讯

给我面没招了，发点面经攒攒人品～1.介绍一下你的实习经历和主要工作内容。2.在微调大模型时，你使用过哪些框架？它们的优缺点分别是什么？3.CLIP 模型的 zero-shot 能力是如何实现的？它在多模态任务中的应用有哪些优势？4.Transformer 中 Pre-Norm 和 Post-Norm 的设计差异是什么？对模型训练稳定性和性能有何影响？5.在生成式大模型中，为何通常采用 Decoder-only 架构而非 Encoder-Decoder 结构？6.请描述大模型中自然语言理解模块的具体实现方案，包括语义解析和意图识别的关键技术。7.针对 Transformer 模型推理过程，你会采用哪些优化手段？8.请阐述RAG的核心原理，并说明如何通过 RAG 缓解大模型的幻觉问题。9.vLLM 框架的核心优化原理是什么？其在动态批处理和显存管理上有哪些创新设计？10.请对比 RLHF、PPO、DPO 算法的技术差异、优缺点及适用场景。

### 自我介绍### 选一个项目重点做介绍，介绍一下你在项目中的工作，遇到的问题以及解决的思路### 讲一下有哪些不同类别的微调### 怎么计算模型训练和推理的时候的显存占用比如14B的模型需要多少显存推理和训练### 怎么判断奖励函数设置的合理不合理？### 过拟合和欠拟合讲一下 怎么排查，有哪些缓解的方法### 怎么让模型输入长度能够做到很长### 模型部署之后，服务的过程中，如果显存爆了要怎么优化### 图像的特征提取讲3个方法### 主流的多模态大模型接触过吗，有哪些### 怎么训练一个多模态大模型### 你用过的多模态大模型 比如视频生成，一般来说有哪些任务？ 你觉得他们在这些任务上的表现存在什么问题？### 如果让你从0设计一个agent，应该有哪些模块### C++ static const的区别### Java 字节码知道吗? 有什么用 有什么优势劣势### 堆是怎么实现的### 单链表怎么找中间节点### TCP IP的握手协议讲一下### linux系统如果现在很卡，怎么排查，用哪些命令### 算法题：给定一个数组，可以在每个数前面添加正负号，目标是target，问有多少种方案。写完后问怎么优化。

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射，你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖，大模型生成的候选列表概率分布，如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排，现在的瓶颈不在计算而在存储带宽。如果分阶段推理，我在Prefill阶段采用了FlashAttention-3，但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重，怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型，如果我要做Speculative Decoding，你如何设计那个Draft Model？这个小模型是该学大模型的 Logits 分布，还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景：某个新入驻的土豪广告主投放了一批高质量视频，但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐，导致第一波推荐给了错误的人群，产生了极高的 Negative Feedback，生成式模型的自回归特性会不断放大这种“第一印象”，导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种，在不重新训练模型的前提下，通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后，竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣，发生了明显的 Catastrophic Forgetting，设计一种基于 Gradient Orthogonal Projection的优化器，确保模型在更新实时热点知识时，参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看，为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移

Timeline3.12  投↓3.17  一面↓3.18 约二面↓3.20 二面（寄）一面代码题：合并两个有序数组二面代码题：反转链表被拒原因：岗位匹配度不够