Transformer

别再死记硬背 BERT 了，面试官更想听你讲明白它为什么有效。我整理一版 BERT 高频答法，3分钟速记：1）BERT 是什么？BERT = Bidirectional Encoder Representations from Transformers，本质是多层 Transformer Encoder 堆叠的预训练语言模型。2）为什么它当年这么强？核心是双向上下文建模。- GPT（早期）主要是单向语言建模- BERT 能同时看左右上下文，更适合理解类任务（分类、匹配、抽取）3）输入怎么构成？输入向量 = Token Embedding + Segment Embedding + Position Embedding- [CLS]：句级表示，常用于分类- [SEP]：句子分隔4）两个预训练任务（面试必问）- MLM（Masked Language Model）：随机 mask 15% token 预测原词- 80% -> [MASK]- 10% -> 随机词- 10% -> 保持原词- NSP（Next Sentence Prediction）：判断句子B是否是句子A的下一句5）怎么落地到下游任务？预训练后加任务头微调：文本分类、NER、问答等。面试30秒答法：BERT 的关键是双向建模；输入由 token/segment/position 三部分组成；预训练靠 MLM+NSP；下游通过微调完成具体任务。想看的话，我下一条发《BERT vs GPT 面试一分钟对比版》。

深度学习进阶篇-预训练模型[1]：预训练分词Subword、ELMo、Transformer模型原理;结构;技巧以及应用详解 从字面上看，预训练模型（pre-training model）是先通过一批语料进行训练模型，然后在这个初步训练好的模型基础上，再继续训练或者另作他用。这样的理解基本上是对的，预训练模型的训练和使用分别对应两个阶段：预训练阶段（pre-training）和 微调（fune-tuning）阶段。 预训练阶段一般会在超大规模的语料上，采用无监督（unsupervised）或者弱监督（weak-supervised）的方式训练模型，期望模型能够获得语言相关的知识，比如句法，语法...