面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.写一下attention公式(代码实现了下)2.训练时为什么要mask，推理时也需要吗?两处有什么区别?推理时的sequencelength和训练时一样吗3.transformer和传统seg2seg模型有什么区别?4.计算attention时为什么要除以dk，这个dk的含义是?attention计算时还有哪些scale处理?5.attention中softmax函数作用、公式、为什么有减去最值的处理?换个函数还能这样处理吗?6.解释数值上溢、下溢问题7.讲一下prompt书写的经验，如何判断prompt是否达标何改进prompt8.讲一下SFT，会对哪部分计算loss?为什么?9.讲一下deepspeed10.训练用一个7b模型要占用多少显存?不同zero阶段能够节多少显存?11.训练模型时用了几张卡，有遇到什么异常中断问题吗?

1、自我介绍2、说一下你日常中和实习中对于大模型的一些应用3、大模型应用到审核体系里面去的话，你有什么比较好的想法吗如果把大模型用到审核体系里，我会更倾向于把它设计成一个审核增强模块，而不是直接完全替代原有流程。因为审核场景最重要的是稳定性、准确率和可控性，如果一开始就把所有判断都交给大模型，风险会比较高。比较合理的方式是把审核拆成几层。先用规则和轻量模型做高确定性的初筛，把明显违规和明显正常的内容先分出去；对于边界模糊、语义复杂、上下文依赖强的内容，再交给大模型做进一步判断。大模型在这里可以承担语义理解、风险解释、相似案例归纳、标签推荐和辅助判定这些工作。这样既能利用它的泛化能力，又不会把整...

继续来分享下之前的面经~欢迎友好讨论，信息共享1.了解DeepSeek-R1吗?介绍一下?2.R1的MLA是如何实现KV-Cache的节约?3.R1在SFT时冷启动的目的?4.位置编码是什么?解释ROPE?5.一个14B的模型，推理和训练要多少显存?6.显存的占用和哪些因素相关?7.大模型灾难性遗忘是什么?如何解决?8.BF16、 FP16、FP32对比。9.Adam, AdamW原理。10.deepspeed的三个阶段。

在开发大模型（LLM）相关应用时，我们经常会遇到一个棘手的问题：随着流量的增加，原本响应迅速的 Web 服务，突然变得极其缓慢，甚至出现大面积的 502/504 超时。 很多开发者第一时间会去检查 Redis、数据库或模型推理接口，却忽略了一个架构上的隐患：你是否将 AI 接口调用直接塞进了公共的业务线程池中？ 一、 致命的“资源枯竭”：一个真实的事故现场 假设你正在使用 Spring Boot (Tomcat) 开发一个 AI 聊天机器人。你的系统接收请求并执行以下两步：  业务操作：查询用户配置（耗时 10ms）。 AI 调用：请求 GPT-4 API（耗时 5s）。  Tomcat 默认...