字节跳动视觉算法二面

#面经#
自我介绍
0. 问简历
讲了讲两段研究经历，因为方向比较偏所以没问太细。

1.  Transformer细节
答：self-attention，positional encoding, memory, cross-attention, subsequent mask等等
预测时怎么预测？
答：autoregressive

2. VAE
答：构建高斯分布和实际数据分布的映射。实际训练中先用网络把数据映射到隐空间，再从隐空间映射回数据空间
问：为什么要数据映射到隐空间的分布接近N(0,1)？
答：因为生成的时候decoder的输入是从N(0,1)中sample的。且从网络训练角度讲隐空间的分布应该尽可能简单。
问：KL散度是啥？高斯分布之间的KL散度推出来长啥样？
\sum p log p/q.  忘了。

3. VAE和GAN的比较
GAN不好训练，要保证discriminator和generator同步。
VAE用reconstruction loss训练，生成图片会比较糊。

4. 知道CLIP吗？知道BLIP吗？
CLIP是用图像文本对做对比学习，BLIP没看过。

5. 目标检测了解吗？听过DETR吗？
答：没，只看到Faster R-CNN和YOLO。

6. 算法题
给M*N二维矩阵，M<=N，每行选一个index，且所有行的index不能重复，使得sum(matrix[i, index[i]])最大。
写了DFS, 小数据尺寸上成立，但是复杂度肯定不对，面试官说没事你想到这个就写它吧。

7. 反问：工作内容？
取决于岗位，做大模型的看论文洗数据比较多，偏业务的具体实现比较多，每个人工作内容不固定。
发paper和打比赛都不是硬性的，取决于个人时间。