22届二本多少找到工作的？

题目 什么是位置编码？对比绝对位置编码和相对位置编码的优缺点。 一、为什么必须有位置编码？ Self-Attention 对输入做的是集合运算：打乱 token 顺序， 和  的结果完全不变。所以 Transformer 本身无法区分“谁在前、谁在后”，必须显式注入位置信息，否则“我吃苹果”和“苹果吃我”在模型眼里可以一样。这就是**位置编码（Positional Encoding）**要解决的问题。 两种思路：  绝对位置编码：给每个位置  一个向量 ，和 token 嵌入相加（或拼接）后再进 Attention，回答“这是第几个位置”。 相对位置编码：不在输入上加向量，而是在 Attent...