transformer

大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍 1.大语言模型的预训练 1.LLM预训练的基本概念 预训练属于迁移学习的范畴。现有的神经网络在进行训练时，一般基于反向传播（Back Propagation，BP）算法，先对网络中的参数进行随机初始化，再利用随机梯度下降（Stochastic Gradient Descent，SGD）等优化算法不断优化模型参数。而预训练的思想是，模型参数不再是随机初始化的，而是通过一些任务进行预先训练，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。 预训练将大量低成本收集的训练...

深度学习进阶篇-预训练模型[3]：XLNet、BERT、GPT,ELMO的区别优缺点，模型框架、一些Trick、Transformer Encoder等原理详解 1.XLNet：Generalized Autoregressive Pretraining for Language Understanding 1.1. 从AR和AE模型到XLNet模型 自回归模型（Autoregressive Model, AR），通过估计一串文本序列的生成概率分布进行建模。一般而言，AR模型通过要么从前到后计算文本序列概率，要么从后向前计算文本序列概率，但不论哪种方式的建模，都是单向的。即在预测一个单词的时候...

🌈 Transformer模型核心解析 Transformer以自注意力机制为核心，打破传统序列模型依赖循环结构的局限，通过并行计算在输入序列各位置间建立关联，成为自然语言处理领域的“顶流”架构！模型由编码器和解码器构成，通过多层注意力机制实现信息交互与特征提取，精准捕捉文本语义。 💡 不可忽视的优势 1️⃣ 并行计算王者：支持高效并行运算，轻松应对大规模数据与分布式训练场景，大幅提升训练效率 2️⃣ 迁移学习利器：预训练+微调模式适配多任务，从机器翻译到情感分析，一键切换超灵活 3️⃣ 长距离依赖杀手：自注意力机制无视序列长度，轻松捕捉跨段落语义关联，告别“健忘症” ⚠️ 使用需注意的短...