海信杭研招聘大模型算法实习生

1，介绍RAG流程；介绍对编码模型的了解、原理、优缺点；如何评估编码模型的能力2，RAG有哪些分类；多模态RAG有哪些实现框架；伪多模态RAG和多模态RAG分别怎么实现，有什么区别；CLIP可以用于哪一类多模态RAG，为什么3，RAG怎么评估，RAG评估体系中最重要的是什么4，传统RAG有什么痛点；介绍GraphRAG，GraphRAG的难点是什么；GraphRAG如何应对增量场景5，介绍微调负责的工作；大模型微调最重要的是什么6，后训练有哪些方式；微调有哪些方式，分别是怎么做的；LoRA原理及参数量7，介绍DPO；DPO与PPO的区别8，介绍一些Agent的实现框架；这些框架有什么区别；LangGraph适用于什么场景；LangGraph构建Agent的方式有哪几种9，我这里有个场景，就是客户输入一个软件或网页界面截图，怎么通过RAG的方式帮助用户了解界面的每一个组件的作用，输入输出自己定义；相似的组件如图片框和视频框怎么去区分10，算法题：2n+1个数，两两成对，找出单独的那个数11，反问

base上海，给了28K*15，不知道属于什么水平？中规中矩吗？

15min 1. 自我介绍2. 对于Agent开发什么想法3. 项目4. 解决什么功能5. 怎么评估效果（其实可以有更多的方案）6. 多少人用7. 你觉得自己是什么样的人8. 遇到困难怎么办9. 反问

1.项目介绍2.Qwen- VL 的训练流程是怎样的3.讲一下大模型的训练流程，多模态大模型的视觉特征传递给 LLM 都有哪些方法4.ViT 一般怎么预训练5.多模态 RAG 介绍一下6.对于不同形状的图片或视频，位置编码怎么设计7.在 ResNet 或者 Transformer 中，残差连接的作用是什么，展开讲讲8.开放题：大模型在训练和推理的时候显存不够，有哪些优化方法9.代码：215．数组中的第 K 个最大元素