在互联网大厂算法岗的面试环节中，深度学习相关八股文的重要性早已无需多言。算法岗面试八股文看似是一个大家"背答案，对于记忆力的比拼"，但实际上却是互联网大厂面试官考察候选人知识体系完整性和基础知识掌握扎实程度最直接、有效的方式！因此八股文在面试中的重要性不言而喻。

大家在求职过程中会发现，当下很多大厂算法岗面试八股文资料杂乱无章，不成体系，需要花费大量的时间和精力进行整理，耽误求职复习进度。本深度学习算法岗求职八股文专栏将互联网大厂面试中的高频八股知识点进行了汇总和梳理，并且附带参考答案。助力大家在求职面试前打下扎实的基础功底，面试过程中游刃有余！

本文是《深度学习算法岗求职八股文专栏》 中Transformer高频考点系列的第二篇文章，整理了面试过程中Transformer的高频考点，并且附带参考答案。

Transformer 中 FFN 使用的激活函数是什么？有什么优缺点？

在Transformer 中的前馈神经网络中采用的是ReLU激活函数，其优缺点如下：

（1）优点：ReLU函数在大于0的部分梯度为常数，所以不会产生梯度弥散现象；此外，ReLU 函数的导数计算更快，所以使用梯度下降时比Sigmod收敛起来要快很多；

（2）缺点：当输入数据是小于0的时候，那么经过这个神经元的梯度将都变成0；这个时候这个ReLU单元在训练中将死亡（也就是参数无法更新），这也导致了数据多样化的丢失。

详细介绍Decoder模块中都包括哪些结构以及对应的功能

（1）输入嵌入（InputEmbedding）：与Transformer网络中的Encoder模块相似，某些算法模型中直接将ObjectQuery初始化为高纬度的特征向量

（2）位置编码（PositionalEncoding）：与 Encoder模块相同，位置编码提供了序列中的位置信息。

（3）解码层（DecoderLayers）：解码层与编码层类似，但有一些关键区别如下：

• 多头注意力机制（Multi-HeadAttentionMechanism）：ObjectQuery向量与编码器输出的特征计算交叉注意力，结合编码器提供的上下文信息生成当前的输出结果。
• 前馈神经网络（Feed-ForwardNeuralNetwork，FFN）：与编码器中的前馈神经网络相同，用于进一步处理特征表示。
• 层归一化和残差连接：与编码器相同，用于稳定和加速训练。

（4）线性层和Softmax激活函数：Decoder模块的最终输出通过一个线性层以及Softmax 函数输出最后的模型结果

什么是Transformer 网络中的位置编码？

Transformer 网络中的位置编码是通过正弦波和余弦波函数来生成的，从而保证了每个元素位置的唯一性和相对的位置关系，将位置编码与其他模型参数一起进行训练，使得Transformer 网络模型能够更好地学习数据之间的相关性和联系。

Transformer 中为什么需要位置编码？作用是什么？

（1）网络模型为什么需要位置编码：Transformer模型本身不具备处理序列顺序的能力，因此需要位置编码来提供位置信息。

（2） 位置编码的作用是什么：位置编码是Transformer模型的关键创新之一，使模型能够理解序列中单词的顺序，进而使模型能够理解序列中单词的顺序，提高模型的表现性能。

如何实现Transformer 中的正余弦位置编码？

正余弦编码的公式如下所示（来自《Attentionisallyouneed》论文）

其中公式中的pos是位置索引，i是位置编码向量的维度索引，𝑑_{𝑚𝑜𝑑𝑒𝑙}是模型中隐藏层特征的维度。具体的生成步骤如下：

（1）生成位置索引：对于输入序列中的每个位置，从0到序列长度-1生成一个位置索引；

（2）计算位置编码：使用上图中的公式计算每个位置的编码，正弦函数应用于位置向量的偶数索引，余弦函数应用于位置向量的奇数索引；

（3）位置编码矩阵：构建一个位置编码矩阵，这个矩阵中的每一行对应于序列中每个位置的编码向量；

（4）添加到输入向量：将构建得到的位置编码矩阵加到输入向量上，这样每个输入向量都包含了位置信息。