#vivo23届暑期实习，持续更新

结合最近辅助修改的简历及项目，老师总结了部分大模型微调简历的踩雷点。🙅‍♂️错误示范：在 x任务中，获取 xxx 条数据，通过规则 or 脚本清洗出 x 条数据，然后微调 y 大模型，在业务上提升 x 个点。✍🏻原因:大模型微调的平台是现成的，基模是现成的，体现不出核心能力。✅应该怎么写？首先介绍业务背景：业务是一个销售对话业务，机器人是销售，代替真人，直接面对用户。我们会给模型设定任务，任务是 prompt 。步骤1️⃣．提取训练数据问题：1.真人通话每通电话任务是未知的，我们训练数据是任务＋通话的 pair 对。2.真人通话很乱，与客户的对话是各种交叉的，导致 asr 后并不是一人一轮。解决方案：1.首先通过大模型 prompt 对该通电话提取任务，得到任务＋ pair 对。需要用到 cot + reflection ＋多 Ilm 一致性+ debating 的模式。2.使用大模型根据以上任务和真人对话，让大模型编写出通话内容。提问，为什么要编写而不是直接用？步骤2️⃣．制定训练数据集问题：1、正常的对话内容，前面几句和后面几句基本上一致的。都是问候和拜拜，但是也有一些差异。2、因为都是相似场景，虽然任务不同，但是很多场景语义很相似。解决方案：1、基于轮次的权重采样：通过轮次设定权重进行 weighting sample 。解决问候和拜拜的高占比问题。2、基于语义的采样：使用 bert 对对话内容进行 embedding ，然后使用层次聚类通过调节阈值聚类出相似语义的类。对一个类里的样本进行随机采样，提问，为什么要对重复语义的数据进行下采样？3、基于客户类型和产品的采样，因为很多产品是热品，导致对话内容有偏，用户类型一样，需按照类型调整整体比例采样。提问，为什么要这么采样？步骤3️⃣．制定训练数据集我们直接把输出当作 target 进行训练。使用的 lora 训练，但是 lora alpha 设定成为4倍的时候达到了比较好的效果，经验值不同任务不一样，提问，在各种情况下要怎么调？步骤4️⃣.dpo训练问题：v1版本训练时，很多输出内容是对的，但是输出的语气不太像真人，机器人味还是很严重。解决方案：由于训练本身是有 ground truth 的，因此使用v1训练的模型，预测训练集，使用大模型对比两者语气不符合训练集的拿出来，使用训练集的 ground truth 和模型的预测数据作为 dpo 训练对，对v1版本模型重新训练。📳这里老师只是简要进行概括解答，具体情况和详细解答可以咨询辅导，如果想了解项目辅导，提升面试能力，欢迎后台联系。    

1. 自我介绍2. 过一下你觉得最好的项目/实习。说了一个教程类开源项目，其中包括部署、LoRA微调等内容。又说了了另一个在学校做的项目，问的很细，包括我们使用Function Call做检索的流程、用langchain如何实现的，内部原理是什么。3. 下一个项目BERT相关的，问了问Transformer的原理结构，他的优点是什么，我讲的是他是不限制距离计算，有效遏制了经典RNN模型的长序列遗忘问题。问了问BERT的原理，幸好看过原论文，简单说了下。4. 下一个项目是做的Qwen SFT，训练数据如何生成的，多少数据，训练的参数，训了多久。5. 问了强化学习deepseek，我答了GRPO和PPO，问了DPO我没看过。6. medium题

啊啊啊啊啊，求各位大佬给点建议。👤 个人背景：本硕985，有大厂实习。📖 Offer详情：作业帮：薪资为 N * （12+3），base 北京，NLP/搜索。深信服：薪资为 （N-3） * （12+0 或 1），（据说可能无年终奖），base 深圳，大模型。🆚 pros vs cons：作业帮：pros：base，年终奖，公积金更高，可能工作氛围相对不“卷”（不确定）。cons：工作方向较为传统，北京生活成本更高，且个人更偏好深圳深信服：pros：大模型，发展潜力大，工作地点更舒适。cons：总薪资较低，工作时间可能更长。        

本人深圳base 26届211本双非硕，cv图像处理，0实习经历从3月初开始准备暑期实习，目前投了9家大厂0offer甚至0面试…大厂怕是一点机会都没了…想找个中小厂先刷个实习经历研究生导师类型为奴隶主型，至今毕业的师兄师姐没有区实习的先例。一般暑假期间都需要在实验室上班，想要在暑假期间去实习恐怕都需要艰难地和导师谈判…提问1:现在找中大厂的日常实习有机会吗，和暑期实习难度相比哪个更大？提问2:导师恐怕最多放我暑假期间的7月、8月这两个月出去实习，如果去日常实习可能只能到了9月份就辞职。会不会存在只实习两个月不开实习证明的情况？（身边有两个朋友，都是实习了不到两个月也给开了实习证明）提问3:日常实习什么时候找？万一发了日常offer要求尽快到岗，但是还没到暑假导师不放人去实习就尴尬了提问4:求职面试阶段能不能和hr沟通实习时间？还是说先承诺hr能够实习3个月以上，入职后干满两个月再辞职跑路呢诚恳提问，球球各位佬指点指点