首页 / 文本匹配
#

文本匹配

#
2561次浏览 3人互动
此刻你想和大家分享什么
热门 最新
头像
2023-08-24 14:29
阿里巴巴_算法工程师
大模型应用领域扩展，探索文本分类、文本匹配、信息抽取
超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用 随着 ChatGPT 和 GPT-4 等强大生成模型出现，自然语言处理任务方式正在逐步发生改变。鉴于大模型强大的任务处理能力，未来我们或将不再为每一个具体任务去 finetune 一个模型，而是使用同一个大模型，对不同任务设计其独有的 prompt，以解决不同的任务问题。在该实验中，我们将基于清华开源大模型 ChatGLM-6B， 提供多个自然语言处理任务如何通过 prompt 来实现 zero-shot 的案例， 希望能够对你有所启发。 1. 环境安装 由于 ChatGLM 需要的环境和该项目中其他实验中的...
AI前沿技术
点赞 评论 收藏
分享
头像
2023-08-14 19:47
阿里巴巴_算法工程师
NLP文本匹配任务Text Matching [无监督训练]
NLP文本匹配任务Text Matching [无监督训练]：SimCSE、ESimCSE、DiffCSE 项目实践 文本匹配多用于计算两个文本之间的相似度，该示例会基于 ESimCSE 实现一个无监督的文本匹配模型的训练流程。文本匹配多用于计算两段「自然文本」之间的「相似度」。 例如，在搜索引擎中，我们通常需要判断用户的搜索内容是否相似： A:蛋黄吃多了有什么坏处 B:吃鸡蛋白过多有什么坏处 -> 不相似 A:蛋黄吃多了有什么坏处 B:蛋黄可以多吃吗 -> 相似 ...  那最直觉的思路就是让人工去标注文本对，再喂给模型去学习，这种方法称为基于「监督学习」训练出的模型： 但是，如...
AI前沿技术
点赞 评论 收藏
分享
头像
2023-10-16 14:58
阿里巴巴_算法工程师
挖掘文本的奇妙力量：传统与深度方法探索匹配之道
挖掘文本的奇妙力量：传统与深度方法探索匹配之道 文本向量表示咋做？文本匹配任务用哪个模型效果好？ 许多 NLP 任务的成功离不开训练优质有效的文本表示向量。特别是文本语义匹配（Semantic Textual Similarity，如 paraphrase 检测、QA 的问题对匹配）、文本向量检索（Dense Text Retrieval）等任务。 1. 传统方法：基于特征的匹配  基于 TF-IDF、BM25、Jaccord、SimHash、LDA 等算法抽取两个文本的词汇、主题等层面的特征，然后使用机器学习模型（LR, xgboost）训练分类模型 优点：可解释性较好 缺点：依赖人工寻找特...
搜索推荐系统
点赞 评论 收藏
分享
玩命加载中
牛客网
牛客网在线编程
牛客网题解
牛客企业服务