B站暑期实习内推码

继续来分享下之前的面经~欢迎友好讨论，信息共享1.实习拷打2.在微调大模型时，你使用过哪些框架？它们的优缺点分别是什么？3.CLIP 模型的 zero-shot 能力是如何实现的？它在多模态任务中的应用有哪些优势？4.Transformer 中 Pre-Norm 和 Post-Norm 的设计差异是什么？对模型训练稳定性和性能有何影响？5.在生成式大模型中，为何通常采用 Decoder-only 架构而非 Encoder-Decoder 结构？6.请描述大模型中自然语言理解模块的具体实现方案，包括语义解析和意图识别的关键技术。7.针对 Transformer 模型推理过程，你会采用哪些优化手段？8.请阐述RAG的核心原理，并说明如何通过 RAG 缓解大模型的幻觉问题。9.vLLM 框架的核心优化原理是什么？其在动态批处理和显存管理上有哪些创新设计？10.请对比 RLHF、PPO、DPO 算法的技术差异、优缺点及适用场景。

继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目细节深挖2.除了caption数据,为什么还要做一些VQA、reasoning、summary数据呢?3.解释为什么VQA、conversation、reasoning数据可能会提升模型效果4.当时的消融实验是完全消融吗?具体怎么做的?5.你的关键帧是怎么做的?6.技术报告看过吗:glm-4.1V,qwen3-vl,mimo-vl,kimi-vl,seed-1.5-vl7.你有仔细去看现在主流的VLM是怎么去洗数据，或者是怎么构造整套pipeline吧8.假如说你参与到这个进程中，你怎么看待接下来的趋势，或者说你拿到一个STEM任务类型，你会怎么去做，你觉得现在技术报告里的缺点在哪里，你有什么想法吗?9.使用VLM-as-judge做整套的数据清洗pipeline，从合成、清洗、过滤、验证、合并，这块有了解吗

给我面没招了。。。1. 项目拷打2. 详细阐述Transformer的底层原理，并说明其能够替代RNN的核心优势；结合Transformer架构的成熟度，分析Self-Attention机制在多模态对齐任务中是否存在瓶颈，以及在实际业务场景中，是否出现过注意力权重完全偏移的情况。3. 讲解LoRA的技术原理，说明LoRA是否仅能嵌入Linear层；分析LoRA无法在LayerNorm层之后插入的原因，以及该操作会对模型训练稳定性产生哪些具体影响。4. 结合实操经验，说明QLoRA降低训练资源成本的核心逻辑；列举常见的模型量化方式，并解释QLoRA选择NF4与FP16组合而非其他方案的原因，阐述NF4的分布拟合逻辑。5. 针对采用multi-query attention优化后，decoder延迟仍居高不下的问题，分析潜在性能瓶颈；探讨vLLM自带的KV Cache是否会成为推理过程中的负担。6. 分别说明Embedding模型与Rerank模型处理文本语料的核心流程，并结合实际应用场景举例说明。7. 结合过往RAG项目经验，讲解从数据清洗到检索服务上线的完整链路搭建流程，重点说明chunk切分的具体策略。8. 分析当前RAG技术落地的最大瓶颈，并阐述你在项目中采取过哪些优化手段来提升检索召回率（Recall）。9. 针对XX领域大模型的训练工作，说明SFT（监督微调）数据集的构造方法与核心思路。10. 结合LoRA微调实操经历，说明rank值的选择依据；在合并adapter权重的过程中，是否遇到过梯度爆炸问题，以及对应的解决方法。11. 结合你的模型部署相关经验，说明模型参数量与硬件算力需求之间的对应关系（例如不同参数量级模型所需的算力配置标准）；以部署一个稀疏率千分之三的235B参数量MOE架构模型为例，估算其所需的算力规模。12. 在搭建RAG知识库时，若需对文档进行动态更新，你采用的是全量嵌入还是增量处理方案？若为增量处理，如何规避新旧文档数据分布不一致导致的检索偏差问题。

继续来分享下之前的面经~欢迎友好讨论，信息共享1.如何构建高质量预训练数据？如何用LLM进行数据合成？Self-instruct与RLAIF的区别？如何避免模型自我强化偏见？2.如果你负责设计一个千亿级MoE模型：如何设计并行策略？如何控制通信成本？3.如何做RLHF阶段的稳定训练？PPO在RLHF中的核心不稳定点？4.如果训练中出现：GPU利用率低、显存碎片化严重，你会如何排查与优化？5.RLHF训练中，奖励模型（RM）的训练难点是什么？如何避免奖励模型过拟合，确保其能准确反映人类偏好？6.数据清洗过程中，如何区分有效数据与噪声数据？针对不同类型的噪声（如文本错误、图像模糊），有哪些针对性的处理方法？7.在大模型训练过程中，如何优化显存占用和训练速度？8.你在过往项目中，有没有基于业务需求，提出过创新的技术方案或优化思路？如何推动方案落地并验证效果？9.代码题：合并两个有序链表和二叉树中的最大路径和