1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

（简历伪装成大三了）我是一个双非大二，意向是java后端开发能给我一些建议吗？开学就大二下了，什么时间去投递，能不能投递给中厂呢求前辈帮我看看😘

最近十分焦虑，本来计划找java岗的，结果现在这个时代，什么都要带上ai，本来就有一大堆java八股文没背，还要仓促的学agent，但学的都是基础呀。简历上那些都是提示词工程，让AI输出指令格式，然后程序判断，也没什么含金量。完全没有什么竞争力😭，唯一的竞争力就是实习时间可以长些吧。但我也找不到适合的学习项目，另一方面自己也比较着急。想要快点找实习。求大佬们指点一下小弟😭😭😭

由于公司经营遇到了巨大问题，出现严重亏损。不得不忍痛告诉全体员工团队解散一事衷心感谢全体小伙伴们在公司付出努力与汗水目前待定截止今日，后续事宜人事小姐姐会逐步跟进安排。再次感谢各位伙伴们希望大家都能有一个好的前程，在未来的时候一定要努力奋斗，前程似锦2023年6月16日我正在开开心心的写着代码，突然来了这么一条消息；我直接原地呆住了，沉思良久我才发现办公室内寂静的可怕，没有了键盘的敲击声；有的只有同事们的呼吸声，大家都依靠在椅子上，像是在思考什么。很快大家也都接受了这个不愿看到的实事。过了一两天就在开始办理离职一类的事情了。投递简历在离职以后，我们同事之间约好一起打了2个小时的球，吃了一个饭；...