快手多模态大模型一面凉经

给我面没招了，发点面经攒攒人品～项目拷打CLIP部分1.CLIP的结构+一个batch里面混入了相同的图片，也就是说一个正样本被当作一个负样本，但它实际是一个正样本，怎么去解决和避免这些问题?在训练或者说Loss层面2.CLIP可以做分类吗?通过对齐的方式做分类你觉得是可行的吗?3.图像输入给大模型，解码输出文本，这样的对齐方式和CLIP有什么区别?这两种哪种是未来趋势?偏八股部分1.COT有了解过吗?结构化的输入/few-shot 为什么会有帮助?(模型层面)2.有了解过哪些大模型?BLIP2的三个loss介绍3.现在大部分的结构不采用Q-former，而用MLP，是为什么?那为什么之前不用MLP，而用Q-former?4.一个多模态模型，它的视觉和文本编码器的参数量大小有什么配比的逻辑?5.一个5乘5的卷积，它可以由几个3乘3的卷积串联来替换，从而减少计算量但保持感受野不变?6.分类任务需要很多标注样本，但是现在想在少量样本的情况下，实现新增任务的效果，如何实现?不希望通过大量数据做微调手撕：经典力扣 全排列

1. 介绍一下 bge-m3 和 DBSCAN，以及它们各自的优势bge-m3 是一个面向检索场景的多功能 embedding 模型，它的特点不是单一做稠密向量表示，而是把 dense、sparse 和 multi-vector 几种检索能力统一到一个模型里。dense 表示负责语义相似，sparse 表示更接近关键词匹配，multi-vector 更适合长文档和细粒度匹配。这样做的好处是一个模型可以兼顾语义召回和词面召回，尤其适合知识检索、教育问答、题目匹配这类场景。DBSCAN 是一种基于密度的聚类算法。它通过两个参数来定义簇：一个是邻域半径 eps，一个是形成核心点所需的最小样本数 mi...

1、项目，各种聊就行2、ViT的原理，swin-Transformer的原理，各自对比，他们的编码方式，是否可学习，各自优缺点，attention的区别和滑动方法；3、多模态VLM的不同模块的设计原理，attention原理，旋转位置编码原理4、手撕动态规划题目：给定一个三角形 triangle ，找出自顶向下的最小路径和。 每一步只能移动到下一行中相邻的结点上。相邻的结点 在这里指的是 下标 与 上一层结点下标 相同或者等于 上一层结点下标 + 1 的两个结点。也就是说，如果正位于当前行的下标 i ，那么下一步可以移动到下一行的下标 i 或 i + 1 。 示例 1： 输入：triangle = [[2],[3,4],[6,5,7],[4,1,8,3]] 输出：11 解释：如下面简图所示： 2 3 4 6 5 7 4 1 8 3 自顶向下的最小路径和为 11（即，2 + 3 + 5 + 1 = 11）。 示例 2： 输入：triangle = [[-10]] 输出：-10解题代码：# dp 三角def minimumSum(triangle):# top --downfor i in range(len(triangle)-2, -1, -1):# scane all elemfor j in range(len(triangle[i])):# current +=  下一行最小值triangle[i][j] += min(triangle[i+1][j], triangle[i+1][j+1])# top last就是return triangle[0][0]if __name__ == "__main__":triangle = [[2],[3,4],[6,5,7],[4,1,8,3]]print(minimumSum(triangle))triangle = [[-10]]print(minimumSum(triangle)

1. 因果推断在多模态训练里能解决什么问题，为什么不是普通相关性学习就够了多模态场景里最容易出的问题就是模型学到“看起来相关”的捷径，而不是任务真正依赖的稳定因素。比如图像里某类背景、拍摄角度、文本描述习惯，可能和标签高度共现，但它们并不是真正决定结论的原因。因果推断的价值在于尽量把这些混杂因素拆出来，让模型更关注跨环境都稳定成立的信号。如果只靠相关性学习，训练集上可能效果很好，但一换数据源、设备、标注风格，性能就会掉得很厉害。因果思路不一定意味着一定要上完整的因果图模型，也可以体现在样本构造、环境分组训练、反事实增强和不变风险约束上。它本质上是在问：模型到底学到了可迁移规律，还是只记住了数据...