bert

深度学习进阶篇-预训练模型[4]：RoBERTa、SpanBERT、KBERT、ALBERT、ELECTRA算法原理模型结构应用场景区别等详解 1.SpanBERT: Improving Pre-training by Representing and Predicting Spans 1.1. SpanBERT的技术改进点 相比于BERT，SpanBERT主要是在预训练阶段进行了调整，如图1所示，具体包含以下几部分：   随机地Masking一段连续的token   增加了一项新的预训练任务：Span boundary Objective (SBO)   去掉了NSP任务    图1 Spa...