2021届上汽通用营销plus管培生面经（offer待入职）

多模态模型横向对比除了 Video-LLaMA，还了解哪些主流多模态大模型？→ 常见的有 LLaVA、Flamingo、BLIP、BLIP-2、KOSMOS、PaLI 等简单介绍 ALBEF 和 BLIP 这两个模型的核心设计→ ALBEF：基于图像 - 文本对比学习，搭配动量蒸馏来优化图文对齐效果；BLIP：引入 captioner 生成高质量图文对，再结合 filter 机制筛选优质数据BLIP-2 的整体结构是什么？两阶段训练流程是怎样的？用到了哪些损失函数？→ 结构：在 ViT 和大语言模型之间插入 Q-Former 作为中间桥梁→ Stage1：冻结 ViT 和语言模型，只训练中间的 Q-Former→ Stage2：冻结语言模型，将 Q-Former 与 LM 连接，做指令微调→ 损失：ITC（图文对比损失）+ ITM（图文匹配损失）+ LM 生成损失微调方法（PEFT 全家桶）了解 PEFT 吗？再讲讲 LoRA，重点说明低秩假设的合理性→ PEFT 是参数高效微调的统称，核心是只训练少量参数而不动原模型权重；LoRA 假设模型权重更新量 ΔW 具有低秩特性，将其分解为 A×B，只训练 A、B 两个低秩矩阵，既节省显存又能保留效果除了 LoRA，还有哪些 PEFT 方法？Prefix-tuning 和 P-tuning 有什么区别？→ 其他方法：Adapter Tuning、Prefix-tuning、P-tuning、IA³ 等→ Prefix-tuning：在输入序列前加可学习的 prefix，作用于注意力的 K/V 矩阵，更适合 decoder-only 架构→ P-tuning：用小型网络（如 LSTM）生成连续的 soft prompt，解决离散 prompt 不稳定的问题，更适配 encoder-decoder 模型大模型训练范式你项目中用到的大模型结构是什么？多模态特征是如何喂给大模型的？→ 示例流程：视频帧 → TimeSformer 提取时空特征 → 特征池化 → 线性投影对齐到文本维度 → 拼接到文本 prompt 之前 → 输入 LLM大模型在做了指令微调后，为什么还需要 RLHF？→ 指令微调只是让模型学会遵循指令，但输出可能更偏向 “模板化”；RLHF 是通过人类偏好对齐，让模型输出更符合人类价值观、更自然、更有用的回答，解决 “有用性” 和 “安全性” 问题了解 RLHF 吗？描述它的完整训练流程→ 三阶段流程：① SFT 微调：用高质量指令数据对预训练模型做监督微调，让模型学会基本指令遵循② 训练 Reward Model（RM）：用人类标注的偏好数据训练奖励模型，学习给不同模型输出打分③ PPO 优化：用 RM 作为奖励信号，通过 PPO 算法更新策略模型，最大化 RM 给出的奖励，实现与人类偏好对齐手撕 LeetCode 原题：合并 k 个升序链表→ 核心思路：用小根堆维护 k 个链表的当前节点，每次弹出最小值节点并入结果链表，再将该节点的下一个节点入堆，直到所有链表遍历完毕；时间复杂度 O (N log k)，N 为总节点数

 1.TCP和UDP有什么区别？各自适用什么场景？TCP和UDP是传输层的两种协议，特点完全不同。TCP是面向连接的，需要三次握手建立连接，四次挥手断开连接。提供可靠传输，保证数据顺序和完整性，有确认和重传机制。是面向字节流的，数据作为连续的流传输。有流量控制和拥塞控制机制。头部开销大，至少20字节。UDP是无连接的，直接发送数据，不需要建立连接。不保证可靠性，可能丢包、乱序、重复。是面向数据报的，每个数据包独立传输。没有流量控制和拥塞控制。头部开销小，只有8字节。速度快，实时性好。 // TCP服务器示例 int listen_fd = socket(AF_INET, SOCK_STREAM...

进行一段 2 到 3 分钟的英文自我介绍，后面问题都是中文问的开始对一个个项目进行深入了解每个项目都是先让我详细地讲一分钟在信号进入模型前，你做了哪些处理？为什么选择 Transformer？相比于传统的 CNN 或 LSTM，它在处理时间序列数据上的优势是什么？使用的是公开数据集还是自建数据集？样本量大概是多少？最终的评价指标是什么？对 C 语言 有了解或实际开发经验吗？然后问了未来规划和居住地等个人信息项目没有问很细，也没有代码和八股反思：习惯被拷打了，让我自己讲2分钟一个项目，讲的比较没有重点和逻辑性，想讲的细节太多导致每句话与每句话之间没有逻辑，感觉比较考验的是自己如何讲好一个项目来推销自己，不是像其他大厂那样提问式追问式深挖嗯...几天后没接到hr电话，应该是没戏了...

1. 介绍一个你主导的最复杂的项目，架构是怎么设计的，遇到的最难的技术问题是什么，怎么解决的？答：这道题是二面的开场，考察系统思维和技术深度，回答要有结构。建议按三段走：背景和目标（项目是什么、规模、你的角色）→ 架构设计思路（为什么这么分层、核心模块怎么划分、关键技术选型理由）→ 最难的问题（要具体，不能说"遇到了很多困难"，要说清楚是什么问题、为什么难、排查过程、最终方案）。比如车载物联项目，可以说：系统需要同时管理30+种异构设备，设备协议差异大，所以设计了HAL抽象层屏蔽硬件差异，上层统一用设备模型操作；最难的问题是多设备并发上报状态时MQTT消息乱序，排查发现是Q...