Transformer模型是什么

📍面试公司：美团👜面试岗位：算法📖面试问题：主要分了两部分，简历里项目，论文，竞赛和手撕。项目是穿插着八股问的，下面是涉及到八股的一些问题1.如何缓解大模型的复读机问题和幻觉问题2.讲一下大模型的采样3.为什么做了sft还要做ppo4.讲一下qlora的好处5.讲一下ppo的四个模型6.sft数据的多样性怎么保证7.dpo和ppo相比的优势在哪里8.有没有考虑过rag，具体怎么实施的手撕是基础的单头注意力，写完之后问了怎么改多头，为什么要除以根号dk和单头改多头的参数量会不会变。反问问了一下业务和对于大模型定量计算的看法🙌面试体验：体验不错，没答上的地方也只是说下去看看。     

1. 实习2. 线程和进程3. 什么是虚拟内存4. Java的值传递5. Java的HashMap和concurrentHashMap6. 合并k个升序链表吐槽一下：腾讯的面呗调试代码好麻烦，看不到错误提示，ListNode类还要自己写，输入自己手动拷贝编程题写完了没调试好，面后秒挂

部门Java商业化，一面被面试官像踩肉虫一样踩死，期望不要脏面评。不愧是字节，问的问题难度很高，刁钻且抽象，而且大部分都是场景题，可以说是个人整个暑期最难的一次面试。1.讲讲UDP TCP的区别2.问问Java吧，讲讲Spring Bean的载入流程3.讲讲volatile和synchronized底层，用了他们之后在内存是怎么走的？3.redis会多少？分布式锁了解吗？（下面开始不对劲了）4.那你们用的是redis分布式锁对吧，那我问你一下，不用redis怎么做分布式锁？5.不用任何组件如何做分布式锁？（寄）6.不用任何组件，如何做分布式限流？原生你怎么实现令牌桶，阻塞队列吗？7.设计一个高并发论坛？讲一下数据库和缓存的详细设计8.redis怎么做持久化？redis集群做持久化需要什么细节？9.索引失效场景讲一下，为什么like和范围查询会失效？底层了解过吗？10.MySQL都有什么Log？MVCC底层原理讲一讲？11.你们做分布式用的什么自动化平台，莫非是手动部署？算法题：15分钟手撕一道leedcode hard KMP题隔天收到感谢信

✅一面1️⃣时间:1h+自我介绍2️⃣项目介绍:问的很细，过程中不停打断提问算法竞赛项目，整体数据处理流程、模型效果评估方法、心得体会3️⃣八股:简单介绍一下 BERT 和 TransformerAttention 和 self-attention 有什么区别？4️⃣Transformer 的复杂度Bert 用的什么位置编码，为什么要用正弦余弦来做位置编码？还知道其他哪些位置编码？5️⃣除了 bert 还做过哪些模型的微调？为什么现在的大模型大多是 decoder-only 的架构？6️⃣讲一下生成式语言模型的工作机理用过 LoRA 吗？讲一下原理？7️⃣算法题最大子段和跳台阶其他问后续安排和实习时长，以及反问✅二面1️⃣自我介绍2️⃣项目:深挖八股Transformer 结构和 LSTM 的区别和优势，Transformer 怎么体现时序信息？3️⃣Transformer Encoder 和 Decoder 的输入输出和结构BatchNorm 更多用在视觉上，LayerNorm 更多用在语言上，为什么有没 chatGLM，LLaMA 等部署、微调经历？4️⃣有没有了解过大模型加速推理？5️⃣讲一下 Flash Attention?6️⃣算法题先说思路再写代码1、数组中的第K个最大元素2、数组 nums 表示若干个区间的集合，请你合并所有重叠的区间，并返回一个不重叠的区间数组，该数组需恰好覆盖输入中的所有区间。输入: nums =[[1,3],[2,6],[8,10],[15,18]]输出：[[1,6],[8,10],[15,18]]📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。