Qwen3 Embedding 与 BGE 有什么区别？

🌟Encoder 架构的词嵌入模型
数据格式：[ CLS ]句子 A [ SEP ]句子 B [ SEP ]并行计算：同时感知上下文，计算速度快向量表示： Encoder 会在输入的最前面加一个特殊的[ CLS ]标记。在经过计算后使得[ CLS ］标记向量能够代表整句话的含义
Qwen3 Embedding 基于Qwen3模型，嵌入模型将单个文本段作为输入，用［ EOS ]标记所对应的向量代表整句话的向量。
Qwen3 Embedding 的训练过程
1.使用大合成数据进行弱监督学习利用Qwen3基座模型直接合成数据，而 BGE 与E5等模型都是从开源社区收集数据。
2.利用高质量合成数据进行 SFT 对筛选出的高质量合成数据和公开监督数据集进行监督训练。
3.模型合并
将微调过程中的多个模型检查点保存，采用 slerp 技术进行模型融合，增加泛化能力。
🌟Qwen3 Embedding 的数据合成
Qwen3 Embedding 模型加入信息检索、比对挖掘、分类和文本相似度四类合成数据。
以信息检索为例
1.输入：多语种文档＋候选角色
Qwen3-32B决策：选择最可能对文档感兴趣的角色、问题类型与难度（高中／大学的知识）
2.构造检索对：输入上一阶段的文档与角色，对问题类型、难度进行限制。从角色视角出发，按需求生成文档对应的自然语言查询。
🌟Qwen3 Embedding 的新用法
Qwen3 Embedding 模型的 query 前能加一个 prompt ，这个 prompt 会与 query 一起向量化。
那么我们就可以在向量化 query 前加一个 prompt :寻找写作风格相似的其他文档。
🌟总结🍊
1．训练数据不同。以前词嵌入模型采用公开数据，现在的训练数据会使用大模型加工合成，更精细可控，站在了巨人的肩膀上。
2．模型结构不同。在生成式大模型采用 Decoder 架构后，词嵌入模型也借鉴了 Decoder ，使用[ EOS ]标签对应的向量来表示句子向量。
3．训练方法改进。 Encoder 架构的训练方式是 Mask 猜词与相似度计算。而Qwen3词嵌入模型采用多阶段训练与合并结果，让模型效果更上一层楼。
📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。