2025-10-13 13:31 中山大学 算法工程师 发布于山东
关注
多模态大模型学习路线
今天老师整理了多模态大模型学习路线和参考资料，供初学者入门了解和实践。
✅多模态LLM大模型算法学习路径
1.VIT->CLIP-＞BLIP系列 ->LLaVA->miniGPT4->InternVL->Qwen2-VL
2.主流模型架构，单模态LLM，MM-LLMs，开源项目应用，github/huggingface
✅入门系列
1、学习以LLM为认知基础的MM-LLM
2、熟悉python、transformers、pytorch、llama_factory等深度学习框架
3、对CV和NLP有一定了解，熟悉图片切分patch和文本token方法
✅进阶系列
1、高级机器学习算法，关注BERT、GPT的深度研究
2、多模态学习，这里主要学习如何结合不同类型数据（如文本，图像，声音）的深度学习模型。
✅项目应用实践
1、SFT微调：图文对数据语义理解、多模态QA对话微调
2、多模态RAG知识库问答：VLM文档解析、张量检索、LLM生成
3、Agent智能体：workflow定义、模态tools构建、function call模型训练
✴️有需要提升面试能力和辅导项目的同学可以后台联系我～
✅多模态LLM大模型算法学习路径
1.VIT->CLIP-＞BLIP系列 ->LLaVA->miniGPT4->InternVL->Qwen2-VL
2.主流模型架构，单模态LLM，MM-LLMs，开源项目应用，github/huggingface
✅入门系列
1、学习以LLM为认知基础的MM-LLM
2、熟悉python、transformers、pytorch、llama_factory等深度学习框架
3、对CV和NLP有一定了解，熟悉图片切分patch和文本token方法
✅进阶系列
1、高级机器学习算法，关注BERT、GPT的深度研究
2、多模态学习，这里主要学习如何结合不同类型数据（如文本，图像，声音）的深度学习模型。
✅项目应用实践
1、SFT微调：图文对数据语义理解、多模态QA对话微调
2、多模态RAG知识库问答：VLM文档解析、张量检索、LLM生成
3、Agent智能体：workflow定义、模态tools构建、function call模型训练
✴️有需要提升面试能力和辅导项目的同学可以后台联系我～
全部评论
相关推荐
查看9道真题和解析