OPPO大模型应用开发一面 攒人品

1、自我介绍2、分词器你了解哪些分词器本质上是把原始文本切分成模型可以处理的 token 序列。不同分词器的核心差异主要在切分策略和词表构建方式上。常见的有基于词的分词、基于字符的分词、子词分词和字节级分词。在大模型里更常见的是子词分词，因为它可以兼顾词表大小和泛化能力。典型方法包括 BPE、WordPiece 和 Unigram。BPE 是通过不断合并高频相邻符号来构造词表，WordPiece 更关注合并后带来的概率提升，Unigram 则是从较大的候选词集合里不断删除低价值 token，保留最优子词集合。如果从工程角度看，分词器会直接影响序列长度、推理成本、跨语言表现和 OOV 处理能力。...

继续来分享下之前的面经~欢迎友好讨论，信息共享1.了解DeepSeek-R1吗?介绍一下?2.R1的MLA是如何实现KV-Cache的节约?3.R1在SFT时冷启动的目的?4.位置编码是什么?解释ROPE?5.一个14B的模型，推理和训练要多少显存?6.显存的占用和哪些因素相关?7.大模型灾难性遗忘是什么?如何解决?8.BF16、 FP16、FP32对比。9.Adam, AdamW原理。10.deepspeed的三个阶段。

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

心态有点崩了。。。。。