小红书多模态算法招实习生

1.项目介绍2.聊教育背景3.聊研究方向（面试官说她之前也是做这个方向的，聊了几句）4.介绍一下你的实习工作5.讲一下你RAG项目的亮点6.你对 VLLM 中使用的技术是否熟悉（如 Flash Attention、KV Cache）？7.介绍一个几种 Attention 技术的不同8.Self-Attention、Cross-Attention、GQA9.了解加速推理框架 Deepspeed 吗？10.微调项目是如何模型选型的，11.如何做微调的？直接用 PEFT 库，还是用LLama Factory做的？12.讲一下 DPO, PPO, GRPO 的原理和区别场景题题目：小红书里的很多笔记作为数据进行树状分类，最大分类数为 3000 类如果让我去做，会怎么收集数据，怎么训练，怎么做？数据如何收集？要什么格式的数据？可以人工收集并打标记AI算法题写 一下DPO_loss 函数leecode算法题寻找峰值

虽然这个项目早就烂大街但如果你什么实习都没有，也没啥项目，不想出钱的话，想做后端java，真的很推荐学习上手黑马点评，它介绍很多后端技术，结构清晰、含金量高且完全免费的练手项目「黑马点评」并不是某个商业产品，也没上线，而是国内知名IT教育机构“黑马程序员”为配套 Redis 教学而精心设计的一个仿美团点评的H5应用项目。它虽小，却五脏俱全；看似简单，实则暗藏玄机，技术大大的它的核心魅力在于：用一个贴近真实业务的场景，把 Redis 的主流高级特性全部串了起来。项目亮点：Redis 技术的集大成者在这个项目中，你可以亲手实现以下高价值功能，每一项都是面试高频考点：基于 Redis 的短信登录 +...

1．首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2．介绍一下 CLIP3．了解 LoRA 吗， LoRA 微调的原理是什么4．了解哪些多模态大模型，简要介绍几个5.BLIP的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么，有什么作用8．视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9．代码：实现多头自注意力一面比较常规，几乎都是八股问题，只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的