蚂蚁支付宝多模态一面凉经

1.项目介绍2.聊教育背景3.聊研究方向（面试官说她之前也是做这个方向的，聊了几句）4.介绍一下你的实习工作5.讲一下你RAG项目的亮点6.你对 VLLM 中使用的技术是否熟悉（如 Flash Attention、KV Cache）？7.介绍一个几种 Attention 技术的不同8.Self-Attention、Cross-Attention、GQA9.了解加速推理框架 Deepspeed 吗？10.微调项目是如何模型选型的，11.如何做微调的？直接用 PEFT 库，还是用LLama Factory做的？12.讲一下 DPO, PPO, GRPO 的原理和区别场景题题目：小红书里的很多笔记作为数据进行树状分类，最大分类数为 3000 类如果让我去做，会怎么收集数据，怎么训练，怎么做？数据如何收集？要什么格式的数据？可以人工收集并打标记AI算法题写 一下DPO_loss 函数leecode算法题寻找峰值

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

感觉推荐算法跟开发一样 各种场景超多业务，但是增量真的有限，低的用DNN都能跑出收益，水位线高的都在卷生成式。我目前接触过一些ai搜，做一些意图识别、搜索算法也是需要训模型的，感觉是不是比纯粹的推荐算法靠谱一些呢

1．首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2．介绍一下 CLIP3．了解 LoRA 吗， LoRA 微调的原理是什么4．了解哪些多模态大模型，简要介绍几个5.BLIP的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么，有什么作用8．视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9．代码：实现多头自注意力一面比较常规，几乎都是八股问题，只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的