算法岗：如何丰富项目经历

翻遍各种大模型的实现，虽然结构上可能保留了 dropout 的实现，但是采样概率都设置为 0 了。唯一一个比较新的，还用 Dropout 的模型是 Meta 训练的 Galactica 模型。那为什么现在不用了呢？核心还是要弄清楚 Dropout 的使用场景。Dropout 之前在深度学习当中是一个特别好用的方法，可以防止过拟合，提高泛化。所以说，当模型较大，数据较少的时候，使用 Dropout 是比较合适的。现在大模型处在什么状态呢？✅预训练在预训练阶段，目前可能还是处于欠拟合的状态。之所以说可能，是基于目前公开的一些论文的出的结论。但是现在闭源的公司在采用大量数据合成的情况下，已经训练足够充分或者接近充分也说不定。以 llama 一系列论文为例，训练 llama 1 的时候，龙猫 Scaling law 里面提到 GPT3 是一个训练很不充分的模型。然后给出的数据配比的建议是，10B 的模型要采用 200B 的 token 来训练。但是 llama 1 采用了 7B 的模型，训练量 1T 的 token 发现性能依然有提升。而且预训练所有的语料一般只过一个 epoch，某些特定的领域可能过 2个 epoch，可以认为样本的重复率很低。所以，在数据足够多，多样性足够而且没有太多重复的情况下，大模型在预训练阶段仍然没有过拟合的风险。也就完全不需要采用 dropout。✅Dropout 就完全不需要了么？如果上面的条件不能满足，Dropout 还是有用武之地的。比如前面提到的 Galactica 模型。这个模型和其他大模型不太一样的地方是训练了 4.25 个 epoch，因为他们认为高质量的数据更重要一些，但是又没有那么多，所以就 repeat 数据了。在论文《To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis》 中，详细列举了数据 Repeat 对训练 LLM 的影响，并且证明了 Dropout 可以缓解数据重复带来的性能损失。在文章《Can LLMs learn from a single example?》中，也提到了在 SFT 的时候，少量的重复数据就会降低模型的性能。这也符合常理，SFT 的数据分布和预训练的通常是不太一样的，重复的数据会让模型拟合新的分布，从而忘掉旧的分布。文中同样也提到 Dropout 可以缓解数据重复带来的影响。所以 Dropout 在数据量较少，多样性不高，需要 repeat 的场景下，依然是一个减少过拟合的很方便的手段。比如现在已经有一些在 LoRA 微调的时候采用 Dropout 的研究了。      

✅双非出身✅只有项目，没有实习✅小公司不想去，大公司去不了✅就业大环境太好了✅竞争对手太多了✅在考研和就业之间犹犹豫豫，研没考上，工作没找到✅就业方向走窄了：销售不干、单休不干、月薪3000不干、下海不干

  1. 自我介绍（项目，技术栈，科研简历）2. hashmap的结构3. 可能由于我说我会一点python和c，如何用c实现一个hashmap4. 如果你实现的hashmap里，为什么用单向链表不用双向链表，双向链表的优势（）我回答在数据库的存储结构B+树里面面会用到双向链表5. hashmap和红黑树的使用场景6. 为什么说tcp是基于连接的（应该是这个，记不清了。 答的不好，三次握手，四次握手，全双工，属于传输层）7. tcp如何保证可靠性其他的忘了项目问题：面试官文这个项目是实验室的还是实习的项目。1. 项目的可以改进的地方（回答了秒杀模块的优化，消息队列）3. redis2. 消息队列是什么3. 重复消费怎么办，消费进程的幂等性4. 消息队列的高可用如何实现5. 了解k8s吗6. 平常如何去学习一门技术，有看博客的习惯吗（有的有的，github链接+ 知乎上 我写了一些文章的链接发给面试官了）其他的忘了，想起来再补充。无手撕算法题（可能因为笔试A了三道编程题所以没有手撕）反问： 1. 腾讯云智的主营业务，技术栈等2. 项目有什么改进的地方后续： 一面5分钟后进二面约二面4月24日希望速通一下    

八股：1、get和post方法的区别？2、http和https的区别？3、Linux常用命令？4、Java中equals()方法和==的区别？5、Java中基本数据类型？6、Java多线程有哪些实现方式？7、抽象类和接口的区别？8、事务的特性？9、一张user表，有name和sex两个字段，写sql语句查询姓陈的女性。10、一张表查询某个字段中重复的数据。11、朋友圈的点赞功能，如何设计测试用例？（有无大佬给个参考答案）总结：很公式化的八股。手撕：链表L1->L2->...->Ln-1->Ln，转换成L1->Ln->L2->Ln-1->...的形...