字节大模型面经分享 3.25 1h

攒人品中，祝大家都能拿到满意的Offer！1.实习拷打2.项目拷打3.深挖论文，3dgs的优化参数是什么4.训练数据是怎么来5.球谐函数的作用是什么6.问了一些经典网络结构，从卷积到注意力机制7.简单画了一些transformer的结构，推注意力机制公式8.手撕，合并多个有序链表

 1.自我介绍面试官好，我换个角度介绍一下自己。一面主要聊了技术细节，这次我想说说我对嵌入式开发的理解和职业规划。我选择嵌入式这个方向，是因为喜欢软硬结合、能看到实际产品的感觉。相比纯软件开发，嵌入式更贴近硬件，需要考虑资源限制、实时性、功耗等问题，这种约束反而让我觉得有挑战性。特别是嵌入式AI这个领域，如何在有限的算力和内存下实现智能功能，这个问题很吸引我。技术上，我主要用C++做开发，熟悉Linux系统和交叉编译，有模型部署的实际经验。在项目中遇到过性能瓶颈、内存不足等问题，通过优化算法、使用硬件加速等方式解决。这些经历让我理解了嵌入式开发的特点：不只是写代码，还要理解硬件、优化性能、权衡...

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射，你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖，大模型生成的候选列表概率分布，如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排，现在的瓶颈不在计算而在存储带宽。如果分阶段推理，我在Prefill阶段采用了FlashAttention-3，但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重，怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型，如果我要做Speculative Decoding，你如何设计那个Draft Model？这个小模型是该学大模型的 Logits 分布，还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景：某个新入驻的土豪广告主投放了一批高质量视频，但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐，导致第一波推荐给了错误的人群，产生了极高的 Negative Feedback，生成式模型的自回归特性会不断放大这种“第一印象”，导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种，在不重新训练模型的前提下，通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后，竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣，发生了明显的 Catastrophic Forgetting，设计一种基于 Gradient Orthogonal Projection的优化器，确保模型在更新实时热点知识时，参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看，为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移

什么是嵌入式AI嵌入式 AI（Embedded AI）是指将人工智能技术与算法集成到嵌入式系统中，使设备能够在本地（无需依赖云端服务器）实现数据处理、分析和决策的技术形态。它融合了嵌入式系统的实时性、低功耗特性与AI 的智能化能力，让传统硬件设备具备 “边端智能”，适用于对响应速度、隐私保护、网络依赖性要求高的场景。核心特点本地化运行无需联网即可完成数据处理和决策，避免网络延迟和断网风险（如自动驾驶汽车在隧道中实时避障）。保护用户隐私：敏感数据（如人脸、医疗信息）无需上传云端，直接在设备端处理。低功耗与轻量化受限于嵌入式设备的算力和电池容量（如智能手环、智能家居设备），需对 AI 模型进行压缩...