字节大模型算法 暑期实习 二面分享

给我面没招了，发点面经攒攒人品～1.手撕代码：两两反转链表2.项目拷打2.1 介绍项目2.2 特征工程与业务理解相关，这么做的动机2.3 模型里是怎么实现自动特征交叉的？2.4 特征分组的技巧是什么？有没有尝试过完全不分组或随机分组？做过哪些实验，效果如何？2.5 为什么这种架构可以提升MFU？2.6 超长序列建模具体怎么做的？这种方案的区别和优势在哪里？信息被压缩的程度有什么不同？2.7 假如你要引入向量索引系统，在线 serving 服务要做什么改造？应该放在什么模块里？2.8 在线链路中，这个模块应该放在哪个环节？特征生产，快照流转的完整架构是怎样的？2.9 样本和线上实时特征如何保持一致？2.10 OneTrans把序列和非序列特征放在一起组织，不同行为特征是怎么组织的？2.11 原论文有没有提到其他组织方式？2.12 OneTrans的金字塔结构具体怎么做？为什么要这么设计？2.13 attention机制为什么随着序列变长耗时增加很快？时间复杂度是什么关系？2.14 如果要优化性能，你会做什么样的优化？2.15 模型推理优化除了传统算子，还会用什么样的架构或加速手段？2.16 多任务学习中的负迁移/跷跷板问题怎么解决？2.17 特征重要性是怎么评估的？

发一下问题给大家参考，攒攒人品！1.实习拷打2.项目拷打3.深挖论文，3dgs的优化参数是什么4.训练数据是怎么来5.球谐函数的作用是什么6.问了一些经典网络结构，从卷积到注意力机制7.简单画了一些transformer的结构，推注意力机制公式8.手撕，合并多个有序链表

继续来分享下最近的面经~1.PPO算法是用什么框架做训练的，对该框架中相关代码是否了解?2.介绍一下实习2的这个项目的相关情况3.项目中用到的千问3模型，其多模态能力对齐是怎么做的?4.项目中用到的GSPO原理是什么?5.Sequence级别与token级别的强化学习训练有什么区别，各自适用于什么样的训练场景?6.对千问30B-A3B模型的架构是否了解，其中的专家网络具体是怎么做的?7.项目中用到的千问相关模型是否存在上下文相关的问题?8.在RAG系统中，若存在多轮对话的情况，从哪方面提升模型上下文能力?9.抛开实际应用场景，PPO算法的损失包含哪几部分?10.在实际流程中，PPO算法的相对优势是怎么计算的?11.分析PPO算法各部分在流程中的位置以及具体计算方式

发点面经攒攒人品～算法题：对话历史构造输入一个 List，包含 session_id、turn_id、query、answer 四列输入不保证按 turn_id 有序输出要求：在原始数据基础上增加 history 列，表示当前轮次之前的历史对话内容1.问实习项目2.项目解决的是什么问题3.训练数据来源4.DPO 训练数据格式5.训练时有没有考虑模型泛化能力6.如何解决模型死循环问题7.解释为什么会有模型死循环问题8.压缩向量的具体形式9.更倾向于研究型工作还是面向业务的工作