大模型日常实习offer选择

整体面试还是不错的，但是没后续了，不知道是哪里出了问题..1、实习拷打2、模型蒸馏的数据如何做的?如何清洗馏得到的数据?3、有没有使用强化学习做过数据仿真。这个之前看过一篇论文，刚好讲了一下。4、有没有了解过训练推理一致性这个领域?我讲了一下强化学习领域的推训一致性，固定flash attention分块策略，vlm推理框架固定page attention分块策略。5、模型量化如何做的。gptq，qat等等，并说明为什么选择了w8a16的量化?6、写一下ppo算法的损失函数和GAE优势函数。主要还是讲明白7、一个场景题8、手撕题hot100，中等题，合并k个升序链

被横向挂了，希望发出来对大家有帮助！1.项目提问2.聚类怎么实现?3.层次聚类和DBSCAN有什么区别?你用了什么停止准则?4.解释TD35.为什么不用PPO而用TD3?6.TD3为啥输出的是确定性策略，里面的actor不也是概率的吗?7.大模型里的RL了解过吗?8.相对和绝对位置编码有哪些?相对位置编码的优势?9.能外推的相对位置编码有什么?10.Normalization有哪些?11.NLP任务里为什么用LN不用BN?12.BN适用于哪里?为什么?Python基础:1.运算符是干嘛的2.kwargs和*args什么区别3.Print(*args)输出什么4.进程，线程，协程5.Async6.@是什么?pytorch里具体怎么实现的?7.装饰器的原理手撕:最长公共子数组，用O(n)方法实现

最近闲下来了整理下之前的面经攒攒人品！项目拷打，实习拷打1.MLA为什么比MHA好?2.权重吸收中间遇到的问题。3.KVcache的离线计算与非常用kvcache的卸载加载4.还有什么kvcache优化的相关的tricks

自我介绍以后开始拷问：项目：1，如何做到筛选视频困难样本的（只有这个答得有点曲折，也记不清项目里面是怎么做的了，其他答得还好的都记不清了，后面也知道了这个经历和公司业务内容强相关）八股：A。面试官说先从Python基础问起（问之前还确认了我用C还是用Python）：1，Python里面可变对象跟不可变对象的一个区别，及其含义，以及模型训练当中怎么用2，Python里面可变对象包括什么，元组算不算可变对象3，对上一个的follow up：可变对象和不可变对象的本质区别？也即list能不能作为哈希表的key？（可能因为上一个问题答得隔靴搔痒没有切中面试官的心意）4，什么是全局解释器锁GIL，在这种情况下怎么进行多线程编程5，什么情况下会用多进程什么时候会用多线程6，多进程之间做并发的话怎么去做数据共享以及同步互斥（一开始自己回答了Lock，后来面试官提示是多线程之间做的并发，于是端上了Event和Semaphore Quene等）7，了解过Python装饰器的作用吗，在代码里面有没有用过，它的原理是什么8，Python在数据处理当中常见的性能优化手段9，10个T的视频数据浏（浏览数据或者点赞数据），想去统计这些数（每个视频的观看人数和点击人数）。这个东西用Python来写的话，会怎么去写（后续补充：在本地的机上面处理，而不是说用分布式那种那个来处理。10个T还不至于一定要上分布式）B，计网：1，HTTP跟HTTPS区别和联系C，数据库1，了解数据库事务吗，简单讲讲2，LEFT JOIN 和INNER JOIN的区别（但是本人对数据库实在不熟不知道有没有听错问啥……）D，大模型Transformer里面会用那个Flas Attention跟那个Paged Attention去优化，它们的那个区别跟那个原理是什么代码手撕：最长回文子串，不过是直接返回子串面试官看我补全代码以后捉了点bug就没说别的了，问了问时间复杂度以及有没有比动归更好的解法（此外我听过一个说法，说如果面试官直接问你hot100原题就是很想招你进来了，我不清楚）反问环节：1，这个实习岗位具体做什么？业务场景是什么？——主要围绕 TikTok 直播的音视频内容理解与标签体系建设。在连麦、试音等场景下，对内容进行识别后自动打玩法/分类/风格等标签。目标是提升标签质量（准确率/覆盖率等）并推动自动化。工作会包含线上推理服务与工程链路设计，配合策略/算法团队做模型与策略调优2，使用什么模型对数据打标签？开源还是闭源？——同时会做开源与闭源大模型的对比实验，效果好的方案会通过实验与切流获得更多流量。根据内容来看感觉这个应该是加了AI调用和提示词工程的python后端开发，整体更偏工程，也无怪乎大模型这块也就问了这么点btw喜茶的提拉米苏浓巧好喝