1.如果训练出来的模型在某一类任务上表现比较差，如何解决这个问题？2.如果DPO训练的过程中发现loss不降，如何定位原因？从数据构造和训练参数两个角度分析。3.有没有尝试过动态prompt，训练数据如何构造，如何保证policy正确？4.如果想把判别式任务转化成生成式任务，学术界有哪些常用方法，哪一种效果比较好有对比过吗？5.数据的难度分层是如何做的，为什么没使用困惑度？6.如何确保分层的准确性，用大模型进行分层为什么没有尝试更大的模型？7.做CPT时的数据量级，数据处理的pipeline？8.CPT的数据配比是什么样的，有没有考虑CPT后通用能力的退化问题？如何检验CPT后模型的通用能力？手撕：1、寻找重复数（转化成环形链表找入口来求解）2、手撕对比学习的loss计算3、手撕多头注意力

前言：随着考研刚刚结束，如果感觉考研成绩不符合自己的心理预期的话可以趁着这两三个月准备来年的春招，最好不要等成绩出来或者调剂结束，那个时候春招已经开始或者结束，想要找工作就得和社会上的所有人一起去竞争社招岗位了。调整心态与自身定位调整心态：如果感觉考研的这几个月过的非常压抑的话可以先给自己放几天假，休息一下，一定要调整好自己的心态和状态才能全身心的投入到找工作这条路。自身定位：一直考研的同学可能不知道找工作这个市场到底如何，工作难不难找，究竟能找到什么样子的工作，待遇如何等等。先简单说个结论，找个工作的难度并不高，但是想要找个好的工作确实很有难度。首先要明确自己的学校以及水平如何，自己能找什么...

1．首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2．介绍一下 CLIP3．了解 LoRA 吗， LoRA 微调的原理是什么4．了解哪些多模态大模型，简要介绍几个5.BLIP的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么，有什么作用8．视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9．代码：实现多头自注意力一面比较常规，几乎都是八股问题，只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的

1.介绍自己的项目2.BLEU和ROUGE3.self-attention求内积时为啥除以根号d4.LLM的评估5.介绍下simCSE6.解决tokens不够的问题应该怎么办7.详细介绍下deepspeed（三个stage结合参数回答）8.gpt和llama的区别（模型结构上的）9.PEFT的方式，LORA论文讲一下，对比p-tuning10.LLM训练的时候为什么warmup11.对比学习中的batch size是大一些好还是小一些好13.了解最新技术一般怎么通过什么渠道14.代码题：lc347 前 K 个高频元素