03-23 13:52 北京市海淀区简明教育培训学校 Java 发布于北京
关注
从事AI岗需要掌握的技术栈
#从事AI岗需要掌握哪些技术栈？#
框架上要精通PyTorch，尤其是torch.distributed（分布式训练），因为单卡已经跑不动大模型了。还要会用DeepSpeed、Megatron-LM这类分布式训练框架。
做预训练的需要懂数据清洗（大规模数据去重、质量过滤）、Scaling Law；做对齐的需要懂RL、偏好优化（DPO等）；做推理的需要懂vLLM、TGI等推理加速框架，以及量化技术（GPTQ、AWQ）
框架上要精通PyTorch，尤其是torch.distributed（分布式训练），因为单卡已经跑不动大模型了。还要会用DeepSpeed、Megatron-LM这类分布式训练框架。
做预训练的需要懂数据清洗（大规模数据去重、质量过滤）、Scaling Law；做对齐的需要懂RL、偏好优化（DPO等）；做推理的需要懂vLLM、TGI等推理加速框架，以及量化技术（GPTQ、AWQ）
全部评论
相关推荐
03-21 11:27
复旦大学 Java 点赞 评论 收藏
分享
点赞 评论 收藏
分享
点赞 评论 收藏
分享