B站 广告算法

前天就收到了，秋招第一份意向，小破站情怀这一块

一面 8.7主要是拷打论文、项目还有八股，个人感觉难度适中，但是考察面交广泛。面试官做inference方向的，刚好项目里面有一个大模型推理优化的，所以拷打的比较多。具体八股问题依稀记得下面几个： 介绍一下分词的原理，现代大模型的分词方式。介绍一下Transformer架构，亮点在哪相较于LSM序列模型，Transformer的架构优势在哪Transformer到现在发生了哪些改变（从Transformer到LLama系列的变迁史，这个问的很细，一直追问）DeepSeek系列正则表达式和python脚本都什么时候用反问阶段：主要从事什么工作：HR全在讲推理，做得少，没怎么听得懂，但是总之和高校...

Timeline：9.1一面 --> 9.4二面 --> 9.12三面一共手撕了三道，上来问主包有没有刷过题，很诚实的说没有...所以可能给我的手撕题不算特别难？链表反转 + 卖出股票最大利润（贪心） + 改变链表序列1. 一面针对我实习的其中一个项目聊了很多，包括模型框架、训练和推理细节，对整个Pipeline都梳理了一遍，以及其中是否有做一些实验，业务产出等等2. 二面相当于把我简历里所有项目从头问到尾，穿插了一些技术细节问题，例如是否了解不同的框架，DiT中的控制条件生成有没有不同的拼接方式，Token-based/Latent-based建模方式的差异在哪里3. 三面主要以我的论文作为切入点，介绍了这个领域的应用、发展，聊论文的动机，以及具体的实验细节等，然后让我推广到更大的领域去找两者的共性其实还有很多面试的具体题目没有提到，例如Token-based中不同Vocab的拼接方式？但一般都是结合我的项目顺势问出，所以三场面试下来没有什么八股ps：三面完后状态变成了“面试完成”，是进池子了吗我是真想去，b站12年骨灰级用户

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？...