大模型面经每日总结 （京东大模型实习）

#大模型# #面经##京东#
1. 基础概念题：什么是大模型核心加速技术中的 “算子融合”？举例说明其作用。
答案要点：
算子融合是将多个连续计算算子合并为一个，减少计算图中的节点数和显存读写次数，降低延迟。
举例：如将 Transformer 中的 Add（残差连接）与 RMSNorm（归一化）融合，减少两次内存访问，提升推理速度。
2. 技术原理题：Flash Attention V2 如何优化注意力计算效率？与 V1 的核心区别是什么？
答案要点：
• V1：通过分块计算注意力，减少显存占用（避免存储所有中间键值对）。
• V2：引入 “内外循环交换策略”，将矩阵乘法的循环顺序调整为更适合 GPU 并行计算的模式，进一步提升计算效率，尤其在长序列场景下加速明显。
3. 量化技术中，FP8、INT4 AWQ、INT4-FP8 AWQ 的适用场景和压缩率有何差异？
4. RAG 系统中，文档切分粒度如何影响检索和生成效果？实际中如何确定最优粒度？

5.在长序列推理场景中，PagedAttention 和 Prefix Caching 分别解决什么问题？如何配合使用？
答案要点：
• PagedAttention：将 KV Cache 分块存储在非连续显存中，避免显存碎片，支持处理超长序列（如百万 Token）；
• Prefix Caching：缓存历史对话的 KV 对，跨请求复用，减少重复计算（如多轮对话中复用上文缓存）。
配合逻辑：
PagedAttention 解决显存限制，Prefix Caching 减少计算量，两者结合可提升长对话场景的效率和稳定性。

6. 在企业级推理场景中，如何根据需求选择量化方案？举例说明短文本高并发和长文本场景的优化策略。

实时客服系统用 INT4 量化加速响应；金融报告生成场景用 FP8+PagedAttention 处理数千 Token 输入。