秋招回顾2：超参数科技算法岗面经（下）

背景：主研多模态分类领域，秋招主要投NLP和多模态方向的算法岗，如果机器学习的岗位描述和我相符也会投

我建议每一个秋招人都投投超参数科技磨练磨练，面试官人都很有耐心，问的也很细，答不上来还会提醒你，会让你对自己的项目细节有一些新的思考，听了宣讲觉得他们公司氛围也很好很年轻，奈何人家不要我

流程：投递岗位为自然语言处理研究员，投递时间n，一面时间m=n+16天，二面时间k=n+23天=m+7天，二面后一直排序，最终无疾而终

二面（聊天＋八股）

1. 楼主本科不是计算机的，所以问了该专业的核心课程有些什么？然后从我说的课程里，选了一个问这个课学了什么？
2. 什么时候开始了解自然语言处理，为什么选自然语言处理？xxxx（楼主本科主要的研究方向）有哪几种方法？
3. 自然语言处理和多模态的模型方法迭代的发展过程?
4. GRU和LSTM的区别？省略到了哪个门？
5. FastText的技术是什么样的，哪个地方提出来的？
6. BERT和GBT的区别？BERT有那两个预训练任务？为什么要用NSP，有什么好处？NSP的上下句是如何构建的？MLM会mask多少词？
7. 自然语言处理针对长文本的处理，有哪些方法或改进（基于Transformer的方法）？比如，Transformer处理长文本会有什么问题（比如长文本为3万词）？Transformer的计算时，如果输入是三万的长文本，那么在实际运算时，会卡在哪里（Transformer的哪个地方计算量最大）？更具体一点，内存会卡在哪里？
8. 接上一题，写道题，10（batch）*100（token size）*32（embedding size）的向量输入，经过Transformer的Encoder block，hidden size是64，这样一个self-attention的模块一共有多少次的浮点数乘法？（一个矩阵中的两个浮点数相乘是一次浮点数乘法）
9. 接上一题，写出self-attention中QK^T矩阵乘法的函数？
10. 平时玩游戏嘛？玩的比较多、设计比较好、喜欢玩的三款游戏是啥？了解过游戏AI嘛？对话的虚拟人之类的了解嘛？自然语言处理和游戏结合你能想到什么应用场景？
11. 你觉得自己做的多模态的研究到现在最有意思的一个发现？或者让你很有成就感的工作？自己做过的计算资源最大的项目