Nvidia 在上海放出多个实习

攒人品攒人品～～1.实习拷打2.推理相关知识点：1.transformer架构（encoder-only、decoder-only、encoder-decoder各自优缺点，模型举例）2.prefill/decode 结合roofline讲3.nv基础（grid、block、thread、warp、l0cache/l1cache(shared memory)/l2cache/global memory、sram/hbm、tensor core、tma等）4.vllm相关（pagedattention、连续批处理、v0/v1架构、chunked prefill、prifix caching等）5.sglang相关 （radixattention，sglang代码没怎么看，问的不多）flashattention v1-v3、flashdecoding6.量化（LLM.int8()、SmoothQuant、AWQ、GPTQ等、量化的好处）7.投机解码（什么是投机解码、lookahead、n-gram、medusa、eagle）8.并行（dp/tp/pp/ep各自是什么，在vllm中如何实现）9.通信（reduce、gather、开销考虑）10.主流模型架构（llama1-3的演变、qwen3的moe怎么做的、deepseek的mtp）11.kvcache压缩手段（MHA、MQA、GQA、MLA）12.pd分离3.其他知识点计网、操作系统、python八股 都很基础4.手撕leetcode：反转链表、链表重排（lc143）、中序遍历二叉树的递归和非递归实现、最长连续序列（lc128）triton/cuda：layer norm、大矩阵规约求和、online-softmax

算法题： 1- 快排，寻找两个正序数组的中位数，下一个排列，二叉树中的最大路径和，Path Sum III2- 给定若干点的数轴坐标数组和固定数量的等长线段，问该线段最少要多长才能覆盖所有点3- 前k个高频字符串，词频一样时按字典序升序排列4- 给定初始字符串s，每次将字符串向右旋转一次，并将旋转后的字符串拼接到原字符串的末尾，每次操作都会使字符串的长度变为原来的两倍，求计算出无限扩展后的字符串中第 N个位置的字符5- 两根手指放在26个小写字母组成的键盘上，最少移动多少距离才能敲出给定的字符串sorch手撕题：MHA * 3，Flash Attention v1，flow matching model采样的伪代码ai infra或算法八股：1- flow matching模型预测的是什么，怎么理解conditional velocity (conditioned on data sample x0)2- 如何计算QwenImage的time shift3- 介绍Flash Attention的原理和实现思路4- GPU matrix transpose使用shared memory的好处5- CPU按列遍历一个行优先的矩阵相比按行遍历为什么性能会变差，具体是因为哪个性能指标变差导致的6- weight-only量化有哪些，实现weight-only量化cuda kernel时如何优化访存，是否了解Marlin kernel7- Megatron SP的实现方式8- DeepSpeed ZeRO stage1和stage 2的通信量区别，论文和代码实现有没有gap9- 多GPU通信时NVSHMEM和NVLink的区别

发一下问题给大家参考，攒攒人品！1. 项目相关的访存优化问题2. 算子融合的实现难点3. 负载均衡问题4. 如何判断优化是否到瓶颈了5. 常见量化策略

1.请详细描述你在简历中提到的AI相关项目中，负责的主要模块和核心技术贡献。2.在设计一个高吞吐、低延迟的模型推理服务时，你会重点考虑哪些架构层面和工程层面的问题?3.请解释C++程序内存中栈(stack)、堆(heap)和静态/全局存储区的特点与主要区别。4.在C++中，new/delete`与'malloc/free`的主要区别是什么?为什么在C++中通常推荐使用前者?5.请解释深拷贝和浅拷贝的概念，并说明在什么情况下必须使用深拷贝。6.请阐述C++中'std:unique_ptr、'std..shared_ptr和'std:weak_ptr的设计意图、使用场景及相互区别。7.虚函数表(vtable)是如何实现运行时多态的?虚函数与纯虚函数(抽象类)在语义和用法上有何不同?8.什么是内存对齐?编译器对结构体进行内存对齐的主要规则是什么?请计算一个给定结构体(包含不同类型成员)在特定平台下的sizeof大小。9.请解释C++11中右值引用(&&)和移动语义(move semantics)的概念，并说明它们如何用于实现高效的数据转移(如std.:.vector的push_back)。110.简述CUDA的SlIMT(单指令多线程)编程模型，描述thread、block、grid的层次关系。11.在CUDA内核中，一个线程的局部变量通常存储在何处?这与寄存器的分配有何关系?12.在CUDA优化中，如何使用共享内存(Shared Memory)来减少对全局内存的重复访问?请举一个简单的例子(如矩阵乘法中的分块)。13.什么是warp shuffle指令?它在warp内部的数据交换和规约操作中有什么优势?14.解释在CUDA中使用float4或int4等向量化加载/存储指令进行合并访存的原理和性能收益。15.什么是共享内存的bankconflict?它是如何产生的?请举例说明。16.如何通过数据填充(padding)或其他内存布局调整技术来避免或减轻共享内存访问中的bankconflict?17.解释CPU缓存的工作原理，包括时间局部性、空间局部性的概念，以及常见的缓存替换策略18.编程题:实现一个算法，在一个包含大量整数的数据流中，实时找出出现频率最高的前K个元素。请描述你的思路(哈希表+最小堆)并分析时间复杂度。