腾讯内推码

这个小伙伴5年的工作经历 双非研究生 好像是医学和计算机交叉学科1. 请先做一下自我介绍2. 你们是直接拿开源 BERT 做分类，还是基于开源 BERT 做微调？答案：一般不是直接拿开源 BERT 裸用，而是基于开源预训练 BERT 做下游分类任务微调。开源 BERT 只提供了通用语义表示能力，它在大规模语料上通过 MLM、NSP 等任务学到了语言知识，但它不知道我们具体业务里的标签体系，比如用户意图分类、文本风险分类、工单分类等。所以实际做法是：拿一个开源预训练模型，比如： bert-base-chinese chinese-roberta-wwm-ext hfl/chinese-macbe...