快手基座大模型团队招实习生
深度参与优化大模型长文本检索、生成能力,通过数据合成、数据配比、训练策略来提高基座大模型Long Context的整体效果:
1.有效构建天然和人工长文数据,并对长短文、各领域进行最佳数据配比混合,通过多阶段Continue-Pretrain的高效训练范式来提升模型的Long Context能力,为后训练提供强大基座模型
2.针对不同的Long Context任务设计不同的合成数据pipeline,并通过有效SFT/RL等训练方法来激发模型的在Long Context的检索和生成能力,同时保证短文能力保持稳定
1.硕士/博士研究生在读,研究方向为NLP、多模态等,对大模型的pre-train和post-train有一定的了解
2.较好的工程能力和分析问题能力,能熟练使用pytorch/tensorflow等深度学习框架
3.对大模型Long Context有过研究或者发表过顶会论文的优先
###可直接联系头像进行沟通交流###
全部评论
相关推荐
查看16道真题和解析 点赞 评论 收藏
分享
