算法面经1：大模型 金融大哥同花顺

9.11  15：00面试官迟到几分钟，上来态度就不好！1、自我介绍2、介绍一下最主要的项目3、项目中的最大困难是什么，怎么解决的（说你的项目少，问点别的吧（但我写了4个，可能和他们方向不一样吧/(ㄒoㄒ)/~~））4、Transformer结构5、attention的计算公式6、attention计算为什么除以缩放因子7、位置编码为什么选择正/余弦编码，有什么好处8、防止过拟合的方法9、正则化具体是怎么做的，L1/L2的区别是什么10、MHA的优点是什么11、MHA的计算复杂度比较高，有哪些改进的方法给一个数组，找出其中目标值出现的次数，必须用二分查找的方法看面试官的态度，估计没戏，啊啊啊啊#

1.自我介绍和项目2.Qwen- VL 的训练流程是怎样的3.讲一下大模型的训练流程，多模态大模型的视觉特征传递给 LLM 都有哪些方法4.ViT 一般怎么预训练5.多模态 RAG 介绍一下6.对于不同形状的图片或视频，位置编码怎么设计7.在 ResNet 或者 Transformer 中，残差连接的作用是什么，展开讲讲8.开放题：大模型在训练和推理的时候显存不够，有哪些优化方法9.代码：215．数组中的第 K 个最大元素

主要围绕着实习聊天，比较关注实习过程中的成长&做出的增量，无八股。比如楼主有一个跨度比较长的大横向，大部分是体力活，二面有问到假如再做一次，可以从哪些方面进行提效；二面已经是+2了，更关注实习过程中的难点、给团队留下的技术资产、团队合作过程中遇到卡点、遇到难以解决的技术tricks怎么评估判断一定能解决等等更宏观的问题。已约9-9三面，依旧是业务面，每一轮都是一个半小时，累了

9.10面筋，60min1，自我介绍2，狠狠拷打项目，面试官说对你这个项目很感兴趣，详细讲讲。讲一下模型batch_size多大，长序列多长，模型每一层你是怎么写的，怎么训练的，服务器配置，参数设置，架构设计等等，3，深入讲解mamba架构，背景是什么，相比较其他模型有啥特点4，预测类的任务，详细讲接触的loss函数，方法，优缺点，使用场景，指标评价，如何计算。5，说我们主要用的有些transformer架构，包含几种注意力机制并且详细介绍不同，我说三种，然后打断我说我思维混乱😰6，讲解注意力机制，啥时候会梯度爆炸，怎么解决7，自己开发交通agent，做问答决策等。数据量特别少，预料少，专业知识很少😠，你怎么设计架构，怎么优化，怎么做系统。8，数据质量怎么具体提升，工程的具体操作，举一个详细的例子，讲流程，讲解其中步骤的算法等9，你实习怎么做模型训练的10，讲一下你做过最好的项目，背景，难点，自己担任了什么职务，最终指标咋样。11，讲一下实习做的一些业务范畴等12，自己如何真真正正的评测模型的效果，详细讲讲指标怎么来的13，无反问，无手撕，直接结束钉d会议。总体体验不好，另外自己接触独立研发大模型很少，自己做的业务不太相关，同时技术也不够。反思，应该好好专注于目前的阶段，先沉淀几个月，update简历，之后重新准备，复盘提升 相信会好很多，加油！😤😤😤