鹅厂LLM算法 日常实习一面

给我面没招了，觉得自己好菜...1. 先问fp42. 量化的矩阵乘维度3. 先问硬件怎么做量化的。4. 量化的硬件需要啥5. 问了一些gpu的问题。6. 怎么分析系统瓶颈。7. 问了flash attn。7.1 有什么用？7.2 矩阵维度推导。7.3 k包不包含q的那个17.4 多头多batch怎么并行

发一下问题给大家参考，攒攒人品！1.llama.cpp了解吗?详细说说它的特点2.对DeepSekk 671B模型进行推理时，是如何做算力分配和负载均衡的?3.大模型推理中的量化技术了解吗?常见的量化方法有哪些?4.对称量化和非对称量化的区别?5.KV cache的原理是什么?在推理中起什么作用?6.用过vLLM吗?它相比传统推理框架有什么优势?7.vLLM中的PagedAttention机制是怎么工作的?解决了什么问题?语言基础C++协程(Coroutine)的特点?C++协程有栈和无栈的区别?cpp20协程是有栈还是无栈?Vector emplace_back和push_back的区别?常量指针和指针常量的区别?算法题（easy）LeetCode经典题:走迷宫问题(DFS/BFS)

多模态模型横向对比除了 Video-LLaMA，还了解哪些主流多模态大模型？→ 常见的有 LLaVA、Flamingo、BLIP、BLIP-2、KOSMOS、PaLI 等简单介绍 ALBEF 和 BLIP 这两个模型的核心设计→ ALBEF：基于图像 - 文本对比学习，搭配动量蒸馏来优化图文对齐效果；BLIP：引入 captioner 生成高质量图文对，再结合 filter 机制筛选优质数据BLIP-2 的整体结构是什么？两阶段训练流程是怎样的？用到了哪些损失函数？→ 结构：在 ViT 和大语言模型之间插入 Q-Former 作为中间桥梁→ Stage1：冻结 ViT 和语言模型，只训练中间的 Q-Former→ Stage2：冻结语言模型，将 Q-Former 与 LM 连接，做指令微调→ 损失：ITC（图文对比损失）+ ITM（图文匹配损失）+ LM 生成损失微调方法（PEFT 全家桶）了解 PEFT 吗？再讲讲 LoRA，重点说明低秩假设的合理性→ PEFT 是参数高效微调的统称，核心是只训练少量参数而不动原模型权重；LoRA 假设模型权重更新量 ΔW 具有低秩特性，将其分解为 A×B，只训练 A、B 两个低秩矩阵，既节省显存又能保留效果除了 LoRA，还有哪些 PEFT 方法？Prefix-tuning 和 P-tuning 有什么区别？→ 其他方法：Adapter Tuning、Prefix-tuning、P-tuning、IA³ 等→ Prefix-tuning：在输入序列前加可学习的 prefix，作用于注意力的 K/V 矩阵，更适合 decoder-only 架构→ P-tuning：用小型网络（如 LSTM）生成连续的 soft prompt，解决离散 prompt 不稳定的问题，更适配 encoder-decoder 模型大模型训练范式你项目中用到的大模型结构是什么？多模态特征是如何喂给大模型的？→ 示例流程：视频帧 → TimeSformer 提取时空特征 → 特征池化 → 线性投影对齐到文本维度 → 拼接到文本 prompt 之前 → 输入 LLM大模型在做了指令微调后，为什么还需要 RLHF？→ 指令微调只是让模型学会遵循指令，但输出可能更偏向 “模板化”；RLHF 是通过人类偏好对齐，让模型输出更符合人类价值观、更自然、更有用的回答，解决 “有用性” 和 “安全性” 问题了解 RLHF 吗？描述它的完整训练流程→ 三阶段流程：① SFT 微调：用高质量指令数据对预训练模型做监督微调，让模型学会基本指令遵循② 训练 Reward Model（RM）：用人类标注的偏好数据训练奖励模型，学习给不同模型输出打分③ PPO 优化：用 RM 作为奖励信号，通过 PPO 算法更新策略模型，最大化 RM 给出的奖励，实现与人类偏好对齐手撕 LeetCode 原题：合并 k 个升序链表→ 核心思路：用小根堆维护 k 个链表的当前节点，每次弹出最小值节点并入结果链表，再将该节点的下一个节点入堆，直到所有链表遍历完毕；时间复杂度 O (N log k)，N 为总节点数

📍面试公司：文远知行一面（更新2026/03/26挂）🕐面试时间：2026/03/20💻面试岗位：AI infra（时长1小时）❓面试问题：一、实习项目拷打10分钟，你在上一家公司做了什么二、八股1、PD分离机制，如何调度两个队列          ——回答PD区别，然后我如何设计调度策略，优先D，也保证P不被饿死2、vllm如何优化显存？                            ——讲了pageattention、continue batching、内存复用3、chunk prefill                                       ——分块计算，我感觉这个没啥好讲的，可能是针对padding吧4、什么是虚拟内存                                   ——这个很简单5、说一下进程和线程的区别，以及操作系统如何调度    ——这个也简单6、讲一下TCP\IP栈                                  ——说实话没听明白，后来询问之后是介绍TCP/IP模型7、追问如何通过IP地址进行通信（找到目标ip） ——这个我其实忘了，随便说了一下洪泛搜索，不知道对不对8、K8S拷打，简历上没写这个                   ——反正基本都不会，应该是炸了，只知道pod和container😓三、手撕（dfs+优化思路）给的测试数据不大，十分钟写了个O(N^N)的算法，运行没问题，然后要求优化成O(N^logN) ——想了很久，提示二分后没时间了，就没写了。四、反问1、我今天表现怎么样答：我感觉你没睡醒😂，状态不好。（我感觉这面试官也一直打哈欠）2、对我有什么建议吗答：简历都挺好的，技术上不应该只追求论文，你可以多了解一下K8S这些3、部门业务是啥答：我们组是做ai infra的，顶层可能是k8s负责调度大模型，中间有做算法优化，底层也有cuda算子优化吧。（这个                面试官介绍的挺详细的，我感觉他是负责K8S调度的）🙌面试感想：发挥不是很好，面试官人挺不错，感觉凉了大半截了，过几天看看结果吧。