多模态算法实习一面-小红书

1、项目，各种聊就行2、ViT的原理，swin-Transformer的原理，各自对比，他们的编码方式，是否可学习，各自优缺点，attention的区别和滑动方法；3、多模态VLM的不同模块的设计原理，attention原理，旋转位置编码原理4、手撕动态规划题目：给定一个三角形 triangle ，找出自顶向下的最小路径和。 每一步只能移动到下一行中相邻的结点上。相邻的结点 在这里指的是 下标 与 上一层结点下标 相同或者等于 上一层结点下标 + 1 的两个结点。也就是说，如果正位于当前行的下标 i ，那么下一步可以移动到下一行的下标 i 或 i + 1 。 示例 1： 输入：triangle = [[2],[3,4],[6,5,7],[4,1,8,3]] 输出：11 解释：如下面简图所示： 2 3 4 6 5 7 4 1 8 3 自顶向下的最小路径和为 11（即，2 + 3 + 5 + 1 = 11）。 示例 2： 输入：triangle = [[-10]] 输出：-10解题代码：# dp 三角def minimumSum(triangle):# top --downfor i in range(len(triangle)-2, -1, -1):# scane all elemfor j in range(len(triangle[i])):# current +=  下一行最小值triangle[i][j] += min(triangle[i+1][j], triangle[i+1][j+1])# top last就是return triangle[0][0]if __name__ == "__main__":triangle = [[2],[3,4],[6,5,7],[4,1,8,3]]print(minimumSum(triangle))triangle = [[-10]]print(minimumSum(triangle)

1. FLUX 的结构、它属于什么生成模型、优势是什么FLUX 本质上还是一类文本到图像生成模型，但它和早期单纯依赖 U-Net 的扩散路线相比，更强调基于 Transformer 的统一建模能力。它通常会把图像 latent、文本条件以及时间步信息一起送进 Transformer 模块，让模型在更统一的 token 空间里做跨模态交互。这样做的一个直接好处是模型容量更容易扩展，文本理解和图像细节控制也更强。从生成机制看，它依然属于连续生成模型，只不过在网络结构和训练目标上比传统 diffusion pipeline 更现代。它的优势主要有三个：第一，文本条件理解更强，复杂 prompt 下的...

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.项目拷打2.论文拷打3.介绍transformer 架构4.BLIP2的结构是什么，两阶段怎么训练的，有哪些损失5.知道 PEFT 吗，讲一下 LoRA6.LoRA 是什么，有什么好处7.Transformer 怎么做加速训练，训练和推理有什么区别8.一些场景题

1. 介绍一下 bge-m3 和 DBSCAN，以及它们各自的优势bge-m3 是一个面向检索场景的多功能 embedding 模型，它的特点不是单一做稠密向量表示，而是把 dense、sparse 和 multi-vector 几种检索能力统一到一个模型里。dense 表示负责语义相似，sparse 表示更接近关键词匹配，multi-vector 更适合长文档和细粒度匹配。这样做的好处是一个模型可以兼顾语义召回和词面召回，尤其适合知识检索、教育问答、题目匹配这类场景。DBSCAN 是一种基于密度的聚类算法。它通过两个参数来定义簇：一个是邻域半径 eps，一个是形成核心点所需的最小样本数 mi...