1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

今天第一段实习离职了，公司很好，同事很好，mentor也很好，待遇也很好，第一次在这里体会到了归属感，离职的中午mentor还请我吃了饭，真的感谢公司给我的这一次机会，也感谢这次机会让我认识了不错的实习搭子，也感谢好的舍友，被导员找的时候盘问的时候一直在帮我打掩护。只是没想到导员会看门禁的进出记录，也没有想到我的家长会把我实习全部告诉导员，更没有想到在我应付过导员后，为了以后实习申请不住宿只能和家长说我的规划并寻求他们帮助的时候，他们先是稳住我，之后把我去实习的情况和现在去离职肯定的告诉导员。在他发现我可能实习，到离职完，我后面还是有一步一步的规划，直到家长和我说他们把我离职已经和导员说了，我被稳住了，我后面也没有招了以后也没有机会实习了，我已经尽力了，可能对不起的只有我自己的努力，为我打掩护，咬死不承认的舍友，和二面把我过掉，但我却没有帮上忙的mentor和公司了祝大家一切顺利吧，我只能躺平等毕业再说了😊以后有没有机会接触开发再看吧

目前这个简历投直接秒挂，想问问各位大佬哪里出问题了

前言我的速成找实习/春招的经验帖子：链接我的学习后端和agent2手抓的专栏：链接第一梯队（头部大厂）拼多多（长宁区）：拼多多、多多买菜、Temu携程（长宁区）：携程旅行、Trip.com、天巡哔哩哔哩（杨浦区）：视频社区平台蚂蚁集团（支付宝）（浦东新区）：支付宝东方财富（嘉定区）：东方财富证券、天天基金美团/大众点评（杨浦区）：美团、大众点评饿了么（普陀区）：外卖平台小红书（黄浦区）：内容电商平台字节跳动（上海研发中心）（闵行区）：抖音、教育、游戏业务华为（上海）：研发布局阿里巴巴（上海研发中心）（闵行区）：盒马、本地生活、阿里国际站腾讯（华东总部）（徐汇区）：游戏、人工智能、云计算百度（上...