字节日常实习二面-大模型算法

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

发点面经攒攒人品～1.项目介绍2.介绍实习3.数据集使用的是公开数据集还在有自己构造数据集大模型相关八股提问4.分别讲一下 Dense 模型和 MoE 模型以及二者的区别5.讲一下MoE的 路由机制是如何做的6.训练完验证使用的是什么数据集7.做这个工作的过程中的难点在哪8.如何做的 SFT9.介绍一下 PPO10.讲一下 RAG 项目11.分类任务常用的评测指标有哪些12.讲一下 LoRA 微调的原理13.A、B 矩阵怎么初始化的14.LoRA 微调秩设置的是多少coding最小生成树

1. 项目里是把 skill 直接塞进 system prompt 的，如果 skill 太多，占用上下文窗口太大，怎么处理不能把所有 skill 常驻塞进 system prompt，这样会带来三个问题：上下文窗口被占满、候选技能噪声太大、模型在选择 skill 时更容易混淆。更合理的方式是把 skill 做成外部注册表，system prompt 里只保留最小规则和调用协议，真正的 skill 描述按需动态注入。常见做法是先做一层 skill routing。可以用规则、分类模型或者向量检索先筛出 topk skill，再把这几个 skill 的 description、参数 schema...

发一下问题给大家参考，攒攒人品！1️⃣技术提问：1.讲讲过拟合是什么？2.遇到过拟合怎么解决？3.用过XGboost吗，有什么优点4.梯度XGboost的原理5.贪心算法的原理6.梯度消失怎么解决7.pre，re，auc指标的含义8.逻辑回归的损失函数和求导、最大似然估计9.交叉熵损失的物理意义2️⃣coding：找到和大于等于目标值的连续子数组要求用sliding window和二分查找两种方法做