阿里算法实习一面凉经-大模型广告生成

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1•大模型普遍训练多少 epoch？为什么？2•预训练阶段更应该关注 epoch，还是 token 数？3•为什么现代大模型常说“训练了多少 T tokens”，而不太说“训练了多少轮”？4•训练 token 数和参数规模之间是什么关系？5•你先讲一下 Transformer 的整体结构，为什么 self-attention 能替代 RNN？6•DPO 相比 PPO/RLHF 的优缺点是什么？7•什么是 instruction following？为什么 base model 和 instruct model 体验差这么多？8•SFT 数据要怎么构造？什么样的数据最有效？9•如果 SFT 后通用能力下降了，你怎么分析？

老实说，看着现在各种大模型一键生成页面、秒写正则、连发版脚本都能顺手写了，大家心里慌是正常的。在牛客上每天都能看到“XXX岗位是不是要凉了”的焦虑贴。但剥开情绪外衣，客观现实是：AI干掉的不是某个岗位，而是某个岗位的低级执行层。 咱们挨个岗位盘一盘，现在的“活路”到底在哪。1. 后端：从CRUD 机器到业务与架构的守门员如果你的日常就是接参数、查数据库、拼 JSON 吐给前端，那确实非常危险，AI 写这种样板代码比你快，还不会漏写分号。活路在哪？ 核心在于复杂的业务壁垒和系统架构能力。AI 很难理解深度的业务上下文。比如搞个竞标平台的后端，瞬间的高并发打过来怎么扛？出价时的事务一致性怎么保证？...

笔试生涯第一次全A四道题都偏模拟